TopAIToolsTopAITools

Glossary

0-9
6DoF pose estimation4D data5G + AI1-shot learning0-shot learning3D convolution8-bit quantization7D representation2-stage detector9-layer network
A
Artificial Intelligence (AI)AGI / Artificial General IntelligenceAutoencoderAttentionAlgorithm
B
BackpropagationBERTBiasBoostingBatch Normalization
C
Classifier / ClassificationCNN / Convolutional Neural NetworkClusteringCross-ValidationChatbot
D
Data AugmentationDeep LearningDeepfakeDeterministic ModelDiscriminative Model
E
Ensemble LearningEncoderEmbeddingEpochExplainable AI (XAI)
F
Fine-tuningFusion / Multimodal FusionFeature ExtractionForward PropagationFoundation Model
G
GAN / Generative Adversarial NetworkGradient DescentGroundingGenerative AIGraph Neural Network (GNN)
H
Hierarchical ModelHeuristicHallucinationHidden LayerHyperparameter
I
Instance / SampleInstruction tuningIntelligence Amplification / AugmentationInterpretabilityImbalanced Data
J
JuxtapositionJitteringJAXJoint EmbeddingJSONL / JSON-lines
K
K-Shot LearningKernel TrickK-means ClusteringKnowledge DistillationKL Divergence (Kullback–Leibler Divergence)
L
Learning RateLarge Language Model (LLM)Loss FunctionLatent VariableLSTM / Long Short-Term Memory
M
Machine Learning (ML)Meta-learningModelMulti-head AttentionMultimodal / Multimodality
N
NLP / Natural Language ProcessingNovelty Detection / Anomaly DetectionNLU / Natural Language UnderstandingNormalizationNeural Network
O
Online LearningObjective FunctionOne-hot EncodingOverfittingOptimizer
P
PretrainingPoolingParameterPolicy / Reinforcement Learning PolicyPrompt
Q
Q-learningQueue / BufferQuantizationQuality EstimationQuery
R
Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Representation LearningRegularizationRNN / Recurrent Neural Network
S
Self-Supervised LearningSupervised LearningSequence ModelingSamplingSoftmax
T
Tuning / Hyperparameter TuningTokenizerTraining DataTransfer LearningTransformer
U
Unsupervised LearningUniversal Approximation TheoremUnderfittingUncertainty EstimationU-Net
V
Vector EmbeddingVariational Autoencoder (VAE)Validation SetVision Transformer (ViT)Vanishing / Exploding Gradient
W
Weight DecayWeak SupervisionWhitening / Whitening TransformationWord EmbeddingWorkflow
X
XOR problemXAI / Explainable AIX-axis / feature axisXLMXLNet
Y
Y-axis / feature axisYield (model yield / throughput)YAGNI (You Aren't Gonna Need It)Y-transform / YUVYoga of AI
Z
Zero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZ-score NormalizationZero-gradient phenomenonZygosity in augmentation

Qué es la Normalización por Lotes

La normalización por lotes es una técnica crucial en el entrenamiento de modelos de aprendizaje profundo, destinada a mejorar la velocidad y estabilidad del entrenamiento.


La idea central es estandarizar las entradas de cada capa, manteniendo la media y la varianza dentro de un rango pequeño en cada mini-lote de datos. Este método reduce efectivamente el cambio de covariables internas, permitiendo tasas de aprendizaje más altas y acelerando la convergencia.


La importancia de la normalización por lotes se refleja en varios aspectos. Primero, acelera el entrenamiento de redes neuronales, ya que los datos estandarizados hacen que el proceso de aprendizaje sea más suave. En segundo lugar, mejora la capacidad de generalización del modelo, reduciendo el riesgo de sobreajuste. Además, en algunos casos, la normalización por lotes puede proporcionar un cierto nivel de regularización, minimizando la dependencia de otras técnicas de regularización como el Dropout.


El mecanismo operativo implica calcular la media y la varianza del lote actual y luego estandarizar la entrada en función de estas estadísticas. Luego, los datos estandarizados se ajustan mediante parámetros de escala y desplazamiento entrenables. Este proceso se actualiza en cada paso de entrenamiento, lo que permite que el modelo se ajuste de manera adaptativa durante el entrenamiento.


Sin embargo, la normalización por lotes no está exenta de desventajas. En ciertas situaciones, especialmente con tamaños de lote pequeños, las estimaciones de media y varianza pueden ser inestables. Además, la normalización por lotes puede tener un rendimiento deficiente en ciertas arquitecturas de red, como las redes neuronales recurrentes.


Las tendencias futuras indican que la normalización por lotes podría integrarse con métodos de regularización emergentes, como la normalización de capas y la normalización de grupos, para adaptarse mejor a diversas arquitecturas de red y requisitos de tarea. En resumen, la normalización por lotes se ha convertido en una parte indispensable del aprendizaje profundo moderno, mejorando significativamente la eficiencia del entrenamiento y el rendimiento del modelo.