TopAIToolsTopAITools

Glossary

0-9
2-stage detector9-layer network5G + AI0-shot learning6DoF pose estimation3D convolution8-bit quantization7D representation1-shot learning4D data
A
AlgorithmAutoencoderAGI / Artificial General IntelligenceAttentionArtificial Intelligence (AI)
B
BERTBatch NormalizationBackpropagationBiasBoosting
C
ChatbotClassifier / ClassificationCNN / Convolutional Neural NetworkCross-ValidationClustering
D
Deterministic ModelDiscriminative ModelDeepfakeData AugmentationDeep Learning
E
EpochEncoderEnsemble LearningEmbeddingExplainable AI (XAI)
F
Foundation ModelFeature ExtractionFusion / Multimodal FusionForward PropagationFine-tuning
G
GAN / Generative Adversarial NetworkGenerative AIGradient DescentGroundingGraph Neural Network (GNN)
H
HyperparameterHidden LayerHallucinationHeuristicHierarchical Model
I
Instance / SampleInstruction tuningIntelligence Amplification / AugmentationInterpretabilityImbalanced Data
J
JAXJoint EmbeddingJSONL / JSON-linesJuxtapositionJittering
K
Knowledge DistillationKL Divergence (Kullback–Leibler Divergence)K-means ClusteringK-Shot LearningKernel Trick
L
Large Language Model (LLM)Latent VariableLoss FunctionLearning RateLSTM / Long Short-Term Memory
M
ModelMachine Learning (ML)Meta-learningMulti-head AttentionMultimodal / Multimodality
N
Neural NetworkNovelty Detection / Anomaly DetectionNLP / Natural Language ProcessingNLU / Natural Language UnderstandingNormalization
O
OptimizerOnline LearningObjective FunctionOverfittingOne-hot Encoding
P
ParameterPromptPolicy / Reinforcement Learning PolicyPoolingPretraining
Q
QueryQuality EstimationQuantizationQ-learningQueue / Buffer
R
Representation LearningReinforcement Learning (RL)Retrieval Augmented Generation (RAG)RegularizationRNN / Recurrent Neural Network
S
Self-Supervised LearningSupervised LearningSamplingSequence ModelingSoftmax
T
TokenizerTransfer LearningTransformerTuning / Hyperparameter TuningTraining Data
U
Unsupervised LearningUncertainty EstimationUnderfittingUniversal Approximation TheoremU-Net
V
Variational Autoencoder (VAE)Vector EmbeddingValidation SetVanishing / Exploding GradientVision Transformer (ViT)
W
Weak SupervisionWeight DecayWhitening / Whitening TransformationWord EmbeddingWorkflow
X
X-axis / feature axisXOR problemXAI / Explainable AIXLMXLNet
Y
Y-axis / feature axisYield (model yield / throughput)Yoga of AIY-transform / YUVYAGNI (You Aren't Gonna Need It)
Z
Zero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZ-score NormalizationZygosity in augmentationZero-gradient phenomenon

Qu'est-ce que le surapprentissage

Le surapprentissage est un concept crucial dans l'apprentissage automatique et la modélisation statistique, faisant référence à un modèle qui fonctionne bien sur les données d'entraînement mais mal sur de nouvelles données non vues. Ce phénomène se produit généralement lorsque le modèle est trop complexe ou qu'il y a des données d'entraînement insuffisantes. Lorsqu'un modèle apprend le bruit dans les données d'entraînement au lieu de modèles sous-jacents, cela conduit à un surapprentissage.


Le surapprentissage est une métrique importante pour l'évaluation des modèles, en particulier dans le domaine de l'apprentissage automatique. Il implique la capacité de généralisation du modèle, c'est-à-dire comment il fonctionne sur des données non vues auparavant. Le problème ne se limite pas à l'apprentissage automatique ; il peut également être observé dans des analyses statistiques, rendant essentiel de trouver une complexité appropriée pour le modèle afin de garantir qu'il reflète avec précision les données d'entraînement et prédit efficacement de nouvelles données.


Lors de l'entraînement, le modèle ajuste ses paramètres via des algorithmes d'optimisation pour minimiser l'erreur d'entraînement. Si le modèle est trop complexe, il peut s'adapter excessivement à toutes les fluctuations et anomalies dans l'ensemble d'entraînement, au lieu de simplement aux véritables tendances des données. Les solutions courantes incluent la validation croisée, la régularisation (comme L1 et L2) et la simplification de la structure du modèle.


Un exemple courant de surapprentissage est le modèle d'arbre de décision ; lorsque la profondeur de l'arbre est excessive, il peut s'adapter excessivement au bruit dans les données d'entraînement, entraînant une mauvaise performance sur de nouveaux ensembles de données. En revanche, les modèles linéaires plus simples ont tendance à éviter le surapprentissage, même s'ils peuvent ne pas fonctionner aussi bien sur des ensembles de données complexes.


À mesure que les technologies d'apprentissage profond évoluent, le problème du surapprentissage demeure un domaine de recherche actif. Les chercheurs continuent d'explorer de nouvelles façons d'améliorer la capacité de généralisation du modèle, en utilisant des techniques telles que l'apprentissage par ensemble, l'apprentissage par transfert et les réseaux antagonistes génératifs (GAN).


Le principal avantage du surapprentissage est que le modèle peut refléter avec précision les données d'entraînement, mais l'inconvénient est que cela peut entraîner une diminution des performances dans les applications réelles. Bien que les méthodes pour éviter le surapprentissage soient efficaces, elles peuvent également entraîner un sous-apprentissage, où le modèle est trop simple pour capturer la complexité des données.


Lorsqu'il s'agit de gérer le surapprentissage, il est important d'équilibrer la complexité du modèle avec les véritables modèles dans les données. Le prétraitement des données, la sélection des caractéristiques et l'évaluation du modèle sont des étapes cruciales pour éviter le surapprentissage.