TopAIToolsTopAITools

Glossary

0-9
2-stage detector9-layer network5G + AI0-shot learning6DoF pose estimation3D convolution8-bit quantization7D representation1-shot learning4D data
A
AlgorithmAutoencoderAGI / Artificial General IntelligenceAttentionArtificial Intelligence (AI)
B
BERTBatch NormalizationBackpropagationBiasBoosting
C
ChatbotClassifier / ClassificationCNN / Convolutional Neural NetworkCross-ValidationClustering
D
Deterministic ModelDiscriminative ModelDeepfakeData AugmentationDeep Learning
E
EpochEncoderEnsemble LearningEmbeddingExplainable AI (XAI)
F
Foundation ModelFeature ExtractionFusion / Multimodal FusionForward PropagationFine-tuning
G
GAN / Generative Adversarial NetworkGenerative AIGradient DescentGroundingGraph Neural Network (GNN)
H
HyperparameterHidden LayerHallucinationHeuristicHierarchical Model
I
Instance / SampleInstruction tuningIntelligence Amplification / AugmentationInterpretabilityImbalanced Data
J
JAXJoint EmbeddingJSONL / JSON-linesJuxtapositionJittering
K
Knowledge DistillationKL Divergence (Kullback–Leibler Divergence)K-means ClusteringK-Shot LearningKernel Trick
L
Large Language Model (LLM)Latent VariableLoss FunctionLearning RateLSTM / Long Short-Term Memory
M
ModelMachine Learning (ML)Meta-learningMulti-head AttentionMultimodal / Multimodality
N
Neural NetworkNovelty Detection / Anomaly DetectionNLP / Natural Language ProcessingNLU / Natural Language UnderstandingNormalization
O
OptimizerOnline LearningObjective FunctionOverfittingOne-hot Encoding
P
ParameterPromptPolicy / Reinforcement Learning PolicyPoolingPretraining
Q
QueryQuality EstimationQuantizationQ-learningQueue / Buffer
R
Representation LearningReinforcement Learning (RL)Retrieval Augmented Generation (RAG)RegularizationRNN / Recurrent Neural Network
S
Self-Supervised LearningSupervised LearningSamplingSequence ModelingSoftmax
T
TokenizerTransfer LearningTransformerTuning / Hyperparameter TuningTraining Data
U
Unsupervised LearningUncertainty EstimationUnderfittingUniversal Approximation TheoremU-Net
V
Variational Autoencoder (VAE)Vector EmbeddingValidation SetVanishing / Exploding GradientVision Transformer (ViT)
W
Weak SupervisionWeight DecayWhitening / Whitening TransformationWord EmbeddingWorkflow
X
X-axis / feature axisXOR problemXAI / Explainable AIXLMXLNet
Y
Y-axis / feature axisYield (model yield / throughput)Yoga of AIY-transform / YUVYAGNI (You Aren't Gonna Need It)
Z
Zero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZ-score NormalizationZygosity in augmentationZero-gradient phenomenon

Qu'est-ce que la Distillation de Connaissances

La distillation de connaissances est une technique de compression de modèle et de transfert de connaissances utilisée principalement pour extraire et transférer les connaissances d'un modèle complexe (généralement un modèle d'apprentissage profond) vers un modèle plus simple. Le principe fondamental consiste à former un modèle plus petit (modèle étudiant) pour imiter la sortie d'un modèle plus grand (modèle enseignant), réduisant ainsi la consommation de ressources informatiques tout en maintenant une haute performance.


Le contexte de cette technique découle de l'augmentation de la complexité des modèles d'apprentissage profond, qui nécessitent davantage de ressources informatiques lors de l'inférence. Grâce à la distillation de connaissances, il est possible de réduire efficacement la taille du modèle et d'augmenter la vitesse d'inférence tout en minimisant la perte de précision. Le fonctionnement de la distillation de connaissances implique de générer des étiquettes douces à partir du modèle enseignant sur les données d'entraînement et d'utiliser ces étiquettes douces pour entraîner le modèle étudiant.


Dans des scénarios typiques, la distillation de connaissances est largement appliquée dans des domaines tels que la reconnaissance d'images, le traitement du langage naturel et la reconnaissance vocale. Par exemple, dans une tâche de classification d'images, un grand réseau de neurones convolutifs (CNN) peut être utilisé comme modèle enseignant, tandis qu'un réseau léger agit comme modèle étudiant pendant l'entraînement. Les tendances futures indiquent qu'à mesure que les modèles d'IA deviennent plus complexes, l'application de la distillation de connaissances deviendra de plus en plus courante, notamment sur les appareils mobiles et les dispositifs de calcul en périphérie.


Les avantages de la distillation de connaissances incluent une amélioration significative de la vitesse et de l'efficacité de l'inférence du modèle, ainsi qu'une réduction de l'utilisation de la mémoire. Cependant, il existe également des inconvénients, tels que la possibilité que le modèle étudiant ne parvienne pas à capturer complètement les connaissances du modèle enseignant, ce qui peut entraîner une perte de performance. En outre, le choix de l'architecture appropriée pour les modèles enseignant et étudiant est crucial pour le succès de la distillation.