TopAIToolsTopAITools

Glossary

0-9
2-stage detector9-layer network5G + AI0-shot learning6DoF pose estimation3D convolution8-bit quantization7D representation1-shot learning4D data
A
AlgorithmAutoencoderAGI / Artificial General IntelligenceAttentionArtificial Intelligence (AI)
B
BERTBatch NormalizationBackpropagationBiasBoosting
C
ChatbotClassifier / ClassificationCNN / Convolutional Neural NetworkCross-ValidationClustering
D
Deterministic ModelDiscriminative ModelDeepfakeData AugmentationDeep Learning
E
EpochEncoderEnsemble LearningEmbeddingExplainable AI (XAI)
F
Foundation ModelFeature ExtractionFusion / Multimodal FusionForward PropagationFine-tuning
G
GAN / Generative Adversarial NetworkGenerative AIGradient DescentGroundingGraph Neural Network (GNN)
H
HyperparameterHidden LayerHallucinationHeuristicHierarchical Model
I
Instance / SampleInstruction tuningIntelligence Amplification / AugmentationInterpretabilityImbalanced Data
J
JAXJoint EmbeddingJSONL / JSON-linesJuxtapositionJittering
K
Knowledge DistillationKL Divergence (Kullback–Leibler Divergence)K-means ClusteringK-Shot LearningKernel Trick
L
Large Language Model (LLM)Latent VariableLoss FunctionLearning RateLSTM / Long Short-Term Memory
M
ModelMachine Learning (ML)Meta-learningMulti-head AttentionMultimodal / Multimodality
N
Neural NetworkNovelty Detection / Anomaly DetectionNLP / Natural Language ProcessingNLU / Natural Language UnderstandingNormalization
O
OptimizerOnline LearningObjective FunctionOverfittingOne-hot Encoding
P
ParameterPromptPolicy / Reinforcement Learning PolicyPoolingPretraining
Q
QueryQuality EstimationQuantizationQ-learningQueue / Buffer
R
Representation LearningReinforcement Learning (RL)Retrieval Augmented Generation (RAG)RegularizationRNN / Recurrent Neural Network
S
Self-Supervised LearningSupervised LearningSamplingSequence ModelingSoftmax
T
TokenizerTransfer LearningTransformerTuning / Hyperparameter TuningTraining Data
U
Unsupervised LearningUncertainty EstimationUnderfittingUniversal Approximation TheoremU-Net
V
Variational Autoencoder (VAE)Vector EmbeddingValidation SetVanishing / Exploding GradientVision Transformer (ViT)
W
Weak SupervisionWeight DecayWhitening / Whitening TransformationWord EmbeddingWorkflow
X
X-axis / feature axisXOR problemXAI / Explainable AIXLMXLNet
Y
Y-axis / feature axisYield (model yield / throughput)Yoga of AIY-transform / YUVYAGNI (You Aren't Gonna Need It)
Z
Zero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZ-score NormalizationZygosity in augmentationZero-gradient phenomenon

Qu'est-ce que la Régularisation

La régularisation est une technique utilisée en modélisation statistique et en apprentissage automatique pour prévenir le surapprentissage. Le surapprentissage se produit lorsqu'un modèle fonctionne bien sur les données d'entraînement mais ne parvient pas à généraliser sur de nouvelles données, ce qui entraîne des prédictions inexactes. En introduisant des contraintes supplémentaires ou des termes de pénalité, la régularisation aide à simplifier le modèle et à améliorer ses performances sur des données invisibles.


D'une part, la régularisation supprime l'influence des modèles complexes en ajoutant un terme de pénalité (comme la norme L1 ou L2), ce qui incite le modèle à apprendre des structures plus simples, ce qui améliore généralement sa capacité de généralisation. Les méthodes de régularisation courantes incluent la régression Ridge (régularisation L2) et la régression Lasso (régularisation L1). Ces méthodes ont montré d'excellentes performances dans diverses applications pratiques, telles que la reconnaissance d'images et les tâches de traitement du langage naturel.


D'autre part, bien que la régularisation aide à améliorer la stabilité du modèle et son pouvoir prédictif, elle peut également entraîner une perte d'informations, en particulier avec des ensembles de données plus petits. De plus, le choix du paramètre de régularisation approprié représente un défi, car une régularisation excessive peut entraîner un sous-apprentissage.


À l'avenir, alors que les ensembles de données continuent de s'élargir et que les capacités de calcul s'améliorent, les techniques de régularisation évoluent également. Par exemple, de nouvelles méthodes de régularisation telles que le dropout et la normalisation par lot sont de plus en plus acceptées, montrant leur importance dans l'apprentissage profond. Dans l'ensemble, la régularisation est une approche clé pour construire des modèles efficaces et robustes, et son importance ne fera que croître avec l'évolution continue de l'apprentissage automatique.