Glossary

0-9

6DoF pose estimation 4D data 5G + AI 1-shot learning 0-shot learning 3D convolution 8-bit quantization 7D representation 2-stage detector 9-layer network

A

Artificial Intelligence (AI)AGI / Artificial General Intelligence Autoencoder Attention Algorithm

B

Backpropagation BERT Bias Boosting Batch Normalization

C

Classifier / Classification CNN / Convolutional Neural Network Clustering Cross-Validation Chatbot

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Ensemble Learning Encoder Embedding Epoch Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Feature Extraction Forward Propagation Foundation Model

G

GAN / Generative Adversarial Network Gradient Descent Grounding Generative AI Graph Neural Network (GNN)

H

Hierarchical Model Heuristic Hallucination Hidden Layer Hyperparameter

I

Instance / Sample Instruction tuning Intelligence Amplification / Augmentation Interpretability Imbalanced Data

J

Juxtaposition Jittering JAX Joint Embedding JSONL / JSON-lines

K

K-Shot Learning Kernel Trick K-means Clustering Knowledge Distillation KL Divergence (Kullback–Leibler Divergence)

L

Learning Rate Large Language Model (LLM)Loss Function Latent Variable LSTM / Long Short-Term Memory

M

Machine Learning (ML)Meta-learning Model Multi-head Attention Multimodal / Multimodality

N

NLP / Natural Language Processing Novelty Detection / Anomaly Detection NLU / Natural Language Understanding Normalization Neural Network

O

Online Learning Objective Function One-hot Encoding Overfitting Optimizer

P

Pretraining Pooling Parameter Policy / Reinforcement Learning Policy Prompt

Q

Q-learning Queue / Buffer Quantization Quality Estimation Query

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Representation Learning Regularization RNN / Recurrent Neural Network

S

Self-Supervised Learning Supervised Learning Sequence Modeling Sampling Softmax

T

Tuning / Hyperparameter Tuning Tokenizer Training Data Transfer Learning Transformer

U

Unsupervised Learning Universal Approximation Theorem Underfitting Uncertainty Estimation U-Net

V

Vector Embedding Variational Autoencoder (VAE)Validation Set Vision Transformer (ViT)Vanishing / Exploding Gradient

W

Weight Decay Weak Supervision Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem XAI / Explainable AI X-axis / feature axis XLM XLNet

Y

Y-axis / feature axis Yield (model yield / throughput)YAGNI (You Aren't Gonna Need It)Y-transform / YUV Yoga of AI

Z

Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Z-score Normalization Zero-gradient phenomenon Zygosity in augmentation

¿Qué es el Aprendizaje Auto-Supervisado?

El Aprendizaje Auto-Supervisado es un enfoque de aprendizaje automático que busca entrenar modelos utilizando datos no etiquetados para generar representaciones de características útiles. Este método ha ganado una atención significativa en los últimos años, especialmente en tareas de procesamiento de imágenes y lenguaje natural.

El trasfondo del aprendizaje auto-supervisado proviene de las limitaciones del aprendizaje supervisado, que requiere una gran cantidad de datos etiquetados que a menudo son difíciles de obtener en aplicaciones prácticas. Aprovechando el aprendizaje auto-supervisado, los modelos pueden extraer información de datos no etiquetados, construyendo así representaciones de características.

En términos de operación, el aprendizaje auto-supervisado generalmente implica establecer tareas predictivas durante el entrenamiento. Por ejemplo, en el procesamiento de imágenes, un modelo puede necesitar predecir partes de una imagen o reconstruir imágenes ocultas. En el procesamiento de lenguaje natural, modelos como BERT utilizan modelado de lenguaje enmascarado para el entrenamiento auto-supervisado, mejorando el rendimiento en tareas posteriores.

Las ventajas del aprendizaje auto-supervisado incluyen la utilización efectiva de grandes cantidades de datos no etiquetados y la mejora del rendimiento del modelo. Sin embargo, una desventaja es que los modelos pueden aprender ruido innecesario, lo que potencialmente degrada el rendimiento. Además, a pesar de sus amplias perspectivas de aplicación, el diseño y el proceso de entrenamiento del modelo deben manejarse con precaución en la práctica.

De cara al futuro, el aprendizaje auto-supervisado tiene potencial para aplicarse en más campos, especialmente en situaciones de escasez de datos. Puede servir como un puente entre el aprendizaje no supervisado y el supervisado, impulsando los avances en tecnologías de inteligencia artificial.