Glossary

0-9

1-shot learning 5G + AI 7D representation 0-shot learning 3D convolution 4D data 2-stage detector 6DoF pose estimation 8-bit quantization 9-layer network

A

AGI / Artificial General Intelligence Algorithm Attention Autoencoder Artificial Intelligence (AI)

B

Backpropagation BERT Bias Boosting Batch Normalization

C

Chatbot Classifier / Classification Clustering CNN / Convolutional Neural Network Cross-Validation

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Ensemble Learning Embedding Encoder Epoch Explainable AI (XAI)

F

Feature Extraction Fine-tuning Fusion / Multimodal Fusion Foundation Model Forward Propagation

G

Gradient Descent GAN / Generative Adversarial Network Grounding Generative AI Graph Neural Network (GNN)

H

Hidden Layer Hallucination Heuristic Hyperparameter Hierarchical Model

I

Intelligence Amplification / Augmentation Imbalanced Data Instance / Sample Instruction tuning Interpretability

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

Knowledge Distillation KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick

L

Loss Function LSTM / Long Short-Term Memory Learning Rate Large Language Model (LLM)Latent Variable

M

Machine Learning (ML)Meta-learning Model Multi-head Attention Multimodal / Multimodality

N

Novelty Detection / Anomaly Detection NLP / Natural Language Processing NLU / Natural Language Understanding Normalization Neural Network

O

Online Learning Objective Function One-hot Encoding Optimizer Overfitting

P

Parameter Policy / Reinforcement Learning Policy Pooling Pretraining Prompt

Q

Quality Estimation Queue / Buffer Q-learning Quantization Query

R

Representation Learning Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization RNN / Recurrent Neural Network

S

Sampling Self-Supervised Learning Supervised Learning Sequence Modeling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Unsupervised Learning Uncertainty Estimation Universal Approximation Theorem U-Net Underfitting

V

Vector Embedding Vanishing / Exploding Gradient Validation Set Variational Autoencoder (VAE)Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

X-axis / feature axis XOR problem XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Z-score Normalization Zero-gradient phenomenon Zygosity in augmentation

O que é Função de Perda

A função de perda é um conceito crucial em aprendizado de máquina e aprendizado profundo. Ela avalia a diferença entre o valor previsto e o valor real. Durante o processo de treinamento do modelo, a saída da função de perda orienta o ajuste dos parâmetros do modelo para minimizar os erros de previsão, melhorando assim a precisão do modelo.

Existem várias formas de funções de perda, como erro quadrático médio (MSE) e perda de entropia cruzada. A escolha de uma função de perda apropriada não apenas afeta a velocidade de convergência do modelo, mas também seu desempenho geral. O design da função de perda está frequentemente intimamente relacionado à natureza do problema específico, como problemas de classificação ou regressão.

Durante o treinamento, o modelo atualiza seus parâmetros através de algoritmos de otimização, como descida de gradiente, para minimizar o valor da função de perda. A função de perda fornece feedback para ajudar o modelo a aprender configurações de parâmetros ótimas.

No futuro, à medida que a tecnologia de aprendizado de máquina continua a evoluir, a pesquisa e a aplicação de funções de perda também progredirão. Novas formas de funções de perda podem ser propostas para se adequar a tarefas e arquiteturas de modelos mais complexas. A escolha e o design de funções de perda continuarão a ser um ponto focal para pesquisadores e engenheiros.

Ao usar funções de perda, é muito importante estar ciente de suas vantagens e desvantagens. Embora as funções de perda possam guiar efetivamente o aprendizado do modelo, sua sensibilidade pode levar ao overfitting em certas situações, especialmente quando a quantidade de dados é limitada ou quando há muito ruído. Portanto, considerar cuidadosamente a escolha da função de perda é necessário.