TopAIToolsTopAITools

Glossary

0-9
2-stage detector9-layer network5G + AI0-shot learning6DoF pose estimation3D convolution8-bit quantization7D representation1-shot learning4D data
A
AlgorithmAutoencoderAGI / Artificial General IntelligenceAttentionArtificial Intelligence (AI)
B
BERTBatch NormalizationBackpropagationBiasBoosting
C
ChatbotClassifier / ClassificationCNN / Convolutional Neural NetworkCross-ValidationClustering
D
Deterministic ModelDiscriminative ModelDeepfakeData AugmentationDeep Learning
E
EpochEncoderEnsemble LearningEmbeddingExplainable AI (XAI)
F
Foundation ModelFeature ExtractionFusion / Multimodal FusionForward PropagationFine-tuning
G
GAN / Generative Adversarial NetworkGenerative AIGradient DescentGroundingGraph Neural Network (GNN)
H
HyperparameterHidden LayerHallucinationHeuristicHierarchical Model
I
Instance / SampleInstruction tuningIntelligence Amplification / AugmentationInterpretabilityImbalanced Data
J
JAXJoint EmbeddingJSONL / JSON-linesJuxtapositionJittering
K
Knowledge DistillationKL Divergence (Kullback–Leibler Divergence)K-means ClusteringK-Shot LearningKernel Trick
L
Large Language Model (LLM)Latent VariableLoss FunctionLearning RateLSTM / Long Short-Term Memory
M
ModelMachine Learning (ML)Meta-learningMulti-head AttentionMultimodal / Multimodality
N
Neural NetworkNovelty Detection / Anomaly DetectionNLP / Natural Language ProcessingNLU / Natural Language UnderstandingNormalization
O
OptimizerOnline LearningObjective FunctionOverfittingOne-hot Encoding
P
ParameterPromptPolicy / Reinforcement Learning PolicyPoolingPretraining
Q
QueryQuality EstimationQuantizationQ-learningQueue / Buffer
R
Representation LearningReinforcement Learning (RL)Retrieval Augmented Generation (RAG)RegularizationRNN / Recurrent Neural Network
S
Self-Supervised LearningSupervised LearningSamplingSequence ModelingSoftmax
T
TokenizerTransfer LearningTransformerTuning / Hyperparameter TuningTraining Data
U
Unsupervised LearningUncertainty EstimationUnderfittingUniversal Approximation TheoremU-Net
V
Variational Autoencoder (VAE)Vector EmbeddingValidation SetVanishing / Exploding GradientVision Transformer (ViT)
W
Weak SupervisionWeight DecayWhitening / Whitening TransformationWord EmbeddingWorkflow
X
X-axis / feature axisXOR problemXAI / Explainable AIXLMXLNet
Y
Y-axis / feature axisYield (model yield / throughput)Yoga of AIY-transform / YUVYAGNI (You Aren't Gonna Need It)
Z
Zero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZ-score NormalizationZygosity in augmentationZero-gradient phenomenon

Qu'est-ce que la Normalisation par Lot

La normalisation par lot est une technique cruciale dans l'entraînement de modèles d'apprentissage profond, visant à améliorer la vitesse et la stabilité de l'entraînement.


L'idée centrale est de standardiser les entrées de chaque couche, en maintenant la moyenne et la variance dans une plage étroite pour chaque mini-lot de données. Cette méthode réduit efficacement le décalage des covariables internes, permettant des taux d'apprentissage plus élevés et accélérant la convergence.


L'importance de la normalisation par lot se reflète dans plusieurs aspects. Premièrement, elle accélère l'entraînement des réseaux neuronaux, car les données standardisées rendent le processus d'apprentissage plus fluide. Deuxièmement, elle améliore la capacité de généralisation du modèle, réduisant le risque de surajustement. De plus, dans certains cas, la normalisation par lot peut fournir un certain niveau de régularisation, minimisant la dépendance à d'autres techniques de régularisation telles que le Dropout.


Le mécanisme opérationnel implique de calculer la moyenne et la variance du lot actuel, puis de standardiser l'entrée en fonction de ces statistiques. Ensuite, les données standardisées sont ajustées à l'aide de paramètres d'échelle et de décalage entraînables. Ce processus est mis à jour à chaque étape d'entraînement, permettant au modèle de s'ajuster de manière adaptative pendant l'entraînement.


Cependant, la normalisation par lot n'est pas sans inconvénients. Dans certaines situations, en particulier avec de petites tailles de lot, les estimations de moyenne et de variance peuvent être instables. De plus, la normalisation par lot peut fonctionner moins bien dans certaines architectures de réseau, telles que les réseaux neuronaux récurrents.


Les tendances futures indiquent que la normalisation par lot pourrait s'intégrer à des méthodes de régularisation émergentes, telles que la normalisation de couche et la normalisation de groupe, pour mieux s'adapter à diverses architectures de réseau et exigences de tâche. En résumé, la normalisation par lot est devenue une partie indispensable de l'apprentissage profond moderne, améliorant considérablement l'efficacité de l'entraînement et les performances du modèle.