Glossary

0-9

1-shot learning 5G + AI 7D representation 0-shot learning 3D convolution 4D data 2-stage detector 6DoF pose estimation 8-bit quantization 9-layer network

A

AGI / Artificial General Intelligence Algorithm Attention Autoencoder Artificial Intelligence (AI)

B

Backpropagation BERT Bias Boosting Batch Normalization

C

Chatbot Classifier / Classification Clustering CNN / Convolutional Neural Network Cross-Validation

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Ensemble Learning Embedding Encoder Epoch Explainable AI (XAI)

F

Feature Extraction Fine-tuning Fusion / Multimodal Fusion Foundation Model Forward Propagation

G

Gradient Descent GAN / Generative Adversarial Network Grounding Generative AI Graph Neural Network (GNN)

H

Hidden Layer Hallucination Heuristic Hyperparameter Hierarchical Model

I

Intelligence Amplification / Augmentation Imbalanced Data Instance / Sample Instruction tuning Interpretability

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

Knowledge Distillation KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick

L

Loss Function LSTM / Long Short-Term Memory Learning Rate Large Language Model (LLM)Latent Variable

M

Machine Learning (ML)Meta-learning Model Multi-head Attention Multimodal / Multimodality

N

Novelty Detection / Anomaly Detection NLP / Natural Language Processing NLU / Natural Language Understanding Normalization Neural Network

O

Online Learning Objective Function One-hot Encoding Optimizer Overfitting

P

Parameter Policy / Reinforcement Learning Policy Pooling Pretraining Prompt

Q

Quality Estimation Queue / Buffer Q-learning Quantization Query

R

Representation Learning Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization RNN / Recurrent Neural Network

S

Sampling Self-Supervised Learning Supervised Learning Sequence Modeling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Unsupervised Learning Uncertainty Estimation Universal Approximation Theorem U-Net Underfitting

V

Vector Embedding Vanishing / Exploding Gradient Validation Set Variational Autoencoder (VAE)Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

X-axis / feature axis XOR problem XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Z-score Normalization Zero-gradient phenomenon Zygosity in augmentation

O que é Embedding

Embedding é um conceito crucial em vários campos, especialmente em processamento de linguagem natural (NLP) e aprendizado de máquina. Refere-se ao processo de mapear dados de alta dimensão, como palavras ou imagens, para um espaço de baixa dimensão, tornando os dados mais gerenciáveis computacionalmente.

No NLP, word embeddings convertem palavras em vetores, permitindo que palavras de significado semelhante fiquem mais próximas no espaço vetorial. Técnicas como Word2Vec e GloVe são amplamente utilizadas. Esses métodos ajudam os modelos a entender relacionamentos e semânticas entre palavras, melhorando tarefas como classificação de texto e tradução automática.

Embedding também pode se aplicar a outros tipos de dados, como imagens e comportamentos de usuários. Em sistemas de recomendação, embeddings de usuários e itens permitem que os modelos forneçam recomendações personalizadas com base nas preferências dos usuários.

No futuro, as técnicas de embedding podem evoluir para representações de maior dimensão, combinadas com arquiteturas de redes neurais mais complexas, melhorando o desempenho do modelo. A interpretabilidade dos embeddings também se tornará um foco de pesquisa, pois entender como os embeddings funcionam é crucial para melhorar modelos e aumentar sua transparência.

As vantagens do embedding incluem a redução significativa da dimensionalidade dos dados e a complexidade computacional, mantendo informações semânticas importantes. No entanto, as desvantagens incluem a necessidade de grandes quantidades de dados e recursos computacionais para treinar embeddings, e a qualidade dos embeddings pode ser afetada se os dados forem insuficientes.

Considerações relacionadas incluem o pré-processamento de dados e a escolha do método de embedding apropriado. Diferentes tarefas podem exigir diferentes tipos de embedding, portanto, é necessário avaliar e ajustar ao aplicar.