Glossary

0-9

6DoF pose estimation 4D data 5G + AI 1-shot learning 0-shot learning 3D convolution 8-bit quantization 7D representation 2-stage detector 9-layer network

A

Artificial Intelligence (AI)AGI / Artificial General Intelligence Autoencoder Attention Algorithm

B

Backpropagation BERT Bias Boosting Batch Normalization

C

Classifier / Classification CNN / Convolutional Neural Network Clustering Cross-Validation Chatbot

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Ensemble Learning Encoder Embedding Epoch Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Feature Extraction Forward Propagation Foundation Model

G

GAN / Generative Adversarial Network Gradient Descent Grounding Generative AI Graph Neural Network (GNN)

H

Hierarchical Model Heuristic Hallucination Hidden Layer Hyperparameter

I

Instance / Sample Instruction tuning Intelligence Amplification / Augmentation Interpretability Imbalanced Data

J

Juxtaposition Jittering JAX Joint Embedding JSONL / JSON-lines

K

K-Shot Learning Kernel Trick K-means Clustering Knowledge Distillation KL Divergence (Kullback–Leibler Divergence)

L

Learning Rate Large Language Model (LLM)Loss Function Latent Variable LSTM / Long Short-Term Memory

M

Machine Learning (ML)Meta-learning Model Multi-head Attention Multimodal / Multimodality

N

NLP / Natural Language Processing Novelty Detection / Anomaly Detection NLU / Natural Language Understanding Normalization Neural Network

O

Online Learning Objective Function One-hot Encoding Overfitting Optimizer

P

Pretraining Pooling Parameter Policy / Reinforcement Learning Policy Prompt

Q

Q-learning Queue / Buffer Quantization Quality Estimation Query

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Representation Learning Regularization RNN / Recurrent Neural Network

S

Self-Supervised Learning Supervised Learning Sequence Modeling Sampling Softmax

T

Tuning / Hyperparameter Tuning Tokenizer Training Data Transfer Learning Transformer

U

Unsupervised Learning Universal Approximation Theorem Underfitting Uncertainty Estimation U-Net

V

Vector Embedding Variational Autoencoder (VAE)Validation Set Vision Transformer (ViT)Vanishing / Exploding Gradient

W

Weight Decay Weak Supervision Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem XAI / Explainable AI X-axis / feature axis XLM XLNet

Y

Y-axis / feature axis Yield (model yield / throughput)YAGNI (You Aren't Gonna Need It)Y-transform / YUV Yoga of AI

Z

Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Z-score Normalization Zero-gradient phenomenon Zygosity in augmentation

Qué es la Regularización

La regularización es una técnica utilizada en modelado estadístico y aprendizaje automático para prevenir el sobreajuste. El sobreajuste ocurre cuando un modelo se desempeña bien en los datos de entrenamiento, pero no puede generalizar a nuevos datos, lo que lleva a predicciones inexactas. Al introducir restricciones o términos de penalización adicionales, la regularización ayuda a simplificar el modelo y mejorar su rendimiento en datos no vistos.

Por un lado, la regularización suprime la influencia de modelos complejos al agregar un término de penalización (como la norma L1 o L2), lo que incentiva al modelo a aprender estructuras más simples, lo que generalmente mejora su capacidad de generalización. Los métodos comunes de regularización incluyen la regresión Ridge (regularización L2) y la regresión Lasso (regularización L1). Estos métodos han demostrado un excelente rendimiento en diversas aplicaciones prácticas, como el reconocimiento de imágenes y tareas de procesamiento de lenguaje natural.

Por otro lado, aunque la regularización ayuda a mejorar la estabilidad del modelo y su poder predictivo, también puede resultar en la pérdida de información, especialmente en conjuntos de datos más pequeños. Además, elegir el parámetro de regularización adecuado es un desafío, ya que una regularización excesiva puede llevar al subajuste.

En el futuro, a medida que los conjuntos de datos continúan expandiéndose y la capacidad computacional mejora, las técnicas de regularización también están evolucionando. Por ejemplo, nuevos métodos de regularización como dropout y normalización por lotes se están aceptando cada vez más, demostrando su importancia en el aprendizaje profundo. En general, la regularización es un enfoque clave para construir modelos eficientes y robustos, y su importancia solo aumentará con el desarrollo continuo del aprendizaje automático.