Glossary

0-9

1-shot learning 5G + AI 7D representation 0-shot learning 3D convolution 4D data 2-stage detector 6DoF pose estimation 8-bit quantization 9-layer network

A

AGI / Artificial General Intelligence Algorithm Attention Autoencoder Artificial Intelligence (AI)

B

Backpropagation BERT Bias Boosting Batch Normalization

C

Chatbot Classifier / Classification Clustering CNN / Convolutional Neural Network Cross-Validation

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Ensemble Learning Embedding Encoder Epoch Explainable AI (XAI)

F

Feature Extraction Fine-tuning Fusion / Multimodal Fusion Foundation Model Forward Propagation

G

Gradient Descent GAN / Generative Adversarial Network Grounding Generative AI Graph Neural Network (GNN)

H

Hidden Layer Hallucination Heuristic Hyperparameter Hierarchical Model

I

Intelligence Amplification / Augmentation Imbalanced Data Instance / Sample Instruction tuning Interpretability

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

Knowledge Distillation KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick

L

Loss Function LSTM / Long Short-Term Memory Learning Rate Large Language Model (LLM)Latent Variable

M

Machine Learning (ML)Meta-learning Model Multi-head Attention Multimodal / Multimodality

N

Novelty Detection / Anomaly Detection NLP / Natural Language Processing NLU / Natural Language Understanding Normalization Neural Network

O

Online Learning Objective Function One-hot Encoding Optimizer Overfitting

P

Parameter Policy / Reinforcement Learning Policy Pooling Pretraining Prompt

Q

Quality Estimation Queue / Buffer Q-learning Quantization Query

R

Representation Learning Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization RNN / Recurrent Neural Network

S

Sampling Self-Supervised Learning Supervised Learning Sequence Modeling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Unsupervised Learning Uncertainty Estimation Universal Approximation Theorem U-Net Underfitting

V

Vector Embedding Vanishing / Exploding Gradient Validation Set Variational Autoencoder (VAE)Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

X-axis / feature axis XOR problem XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Z-score Normalization Zero-gradient phenomenon Zygosity in augmentation

O que é Aprendizado Auto-Supervisionado

O Aprendizado Auto-Supervisionado é uma abordagem de aprendizado de máquina que visa treinar modelos usando dados não rotulados para gerar representações de características úteis. Este método ganhou atenção significativa nos últimos anos, especialmente em tarefas de processamento de imagens e linguagem natural.

A base do aprendizado auto-supervisionado surge das limitações do aprendizado supervisionado, que requer uma grande quantidade de dados rotulados que muitas vezes são difíceis de obter em aplicações práticas. Ao aproveitar o aprendizado auto-supervisionado, os modelos podem extrair informações de dados não rotulados, construindo assim representações de características.

Em termos de operação, o aprendizado auto-supervisionado geralmente envolve a configuração de tarefas preditivas durante o treinamento. Por exemplo, no processamento de imagens, um modelo pode precisar prever partes de uma imagem ou reconstruir imagens ocultas. Na área de processamento de linguagem natural, modelos como o BERT usam modelagem de linguagem mascarada para treinamento auto-supervisionado, melhorando o desempenho em tarefas subsequentes.

As vantagens do aprendizado auto-supervisionado incluem a utilização eficaz de grandes quantidades de dados não rotulados e a melhoria do desempenho do modelo. No entanto, uma desvantagem é que os modelos podem aprender ruídos desnecessários, potencialmente degradando o desempenho. Além disso, apesar de suas amplas perspectivas de aplicação, o design e o processo de treinamento do modelo devem ser tratados com cautela na prática.

No futuro, o aprendizado auto-supervisionado tem potencial para ser aplicado em mais campos, especialmente em situações de escassez de dados. Pode servir como uma ponte entre aprendizado não supervisionado e supervisionado, impulsionando os avanços nas tecnologias de inteligência artificial.