Glossary

0-9

6DoF pose estimation 4D data 5G + AI 1-shot learning 0-shot learning 3D convolution 8-bit quantization 7D representation 2-stage detector 9-layer network

A

Artificial Intelligence (AI)AGI / Artificial General Intelligence Autoencoder Attention Algorithm

B

Backpropagation BERT Bias Boosting Batch Normalization

C

Classifier / Classification CNN / Convolutional Neural Network Clustering Cross-Validation Chatbot

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Ensemble Learning Encoder Embedding Epoch Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Feature Extraction Forward Propagation Foundation Model

G

GAN / Generative Adversarial Network Gradient Descent Grounding Generative AI Graph Neural Network (GNN)

H

Hierarchical Model Heuristic Hallucination Hidden Layer Hyperparameter

I

Instance / Sample Instruction tuning Intelligence Amplification / Augmentation Interpretability Imbalanced Data

J

Juxtaposition Jittering JAX Joint Embedding JSONL / JSON-lines

K

K-Shot Learning Kernel Trick K-means Clustering Knowledge Distillation KL Divergence (Kullback–Leibler Divergence)

L

Learning Rate Large Language Model (LLM)Loss Function Latent Variable LSTM / Long Short-Term Memory

M

Machine Learning (ML)Meta-learning Model Multi-head Attention Multimodal / Multimodality

N

NLP / Natural Language Processing Novelty Detection / Anomaly Detection NLU / Natural Language Understanding Normalization Neural Network

O

Online Learning Objective Function One-hot Encoding Overfitting Optimizer

P

Pretraining Pooling Parameter Policy / Reinforcement Learning Policy Prompt

Q

Q-learning Queue / Buffer Quantization Quality Estimation Query

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Representation Learning Regularization RNN / Recurrent Neural Network

S

Self-Supervised Learning Supervised Learning Sequence Modeling Sampling Softmax

T

Tuning / Hyperparameter Tuning Tokenizer Training Data Transfer Learning Transformer

U

Unsupervised Learning Universal Approximation Theorem Underfitting Uncertainty Estimation U-Net

V

Vector Embedding Variational Autoencoder (VAE)Validation Set Vision Transformer (ViT)Vanishing / Exploding Gradient

W

Weight Decay Weak Supervision Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem XAI / Explainable AI X-axis / feature axis XLM XLNet

Y

Y-axis / feature axis Yield (model yield / throughput)YAGNI (You Aren't Gonna Need It)Y-transform / YUV Yoga of AI

Z

Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Z-score Normalization Zero-gradient phenomenon Zygosity in augmentation

Qué es un Hiperparámetro

Un hiperparámetro es un concepto crucial en el aprendizaje automático y el aprendizaje profundo. Se refiere a los parámetros que se establecen antes del proceso de entrenamiento del modelo y que no se aprenden a partir de los datos de entrenamiento. En su lugar, estos parámetros deben ser especificados manualmente. La elección de los hiperparámetros afecta directamente el rendimiento y los resultados del modelo, por lo que la selección cuidadosa es esencial.

Los tipos comunes de hiperparámetros incluyen la tasa de aprendizaje, el tamaño del lote, los parámetros de regularización y la profundidad y ancho de la estructura de la red. Elegir los hiperparámetros correctos puede ayudar al modelo a aprender mejor las características de los datos, mejorando así la capacidad de generalización del modelo en nuevos datos. El proceso de selección de hiperparámetros a menudo implica técnicas como la validación cruzada para garantizar que los parámetros elegidos mejoren efectivamente el rendimiento del modelo.

Sin embargo, el proceso de configuración de hiperparámetros puede ser un desafío y generalmente requiere experiencia y muchos experimentos. En los últimos años, han surgido técnicas automatizadas de optimización de hiperparámetros, como la optimización bayesiana, para reducir el tiempo y el esfuerzo necesarios para la configuración manual. Estos métodos buscan de manera inteligente en el espacio de hiperparámetros para encontrar combinaciones óptimas.

En el futuro, a medida que las tecnologías de aprendizaje automático continúan avanzando, se espera que los métodos de optimización de hiperparámetros se vuelvan más inteligentes y automatizados, lo que posiblemente lleve a un proceso de entrenamiento de modelos totalmente automatizado.