TopAIToolsTopAITools

Glossary

0-9
1-shot learning3D convolution5G + AI6DoF pose estimation7D representation8-bit quantization2-stage detector9-layer network0-shot learning4D data
A
AGI / Artificial General IntelligenceAttentionAutoencoderAlgorithmArtificial Intelligence (AI)
B
BackpropagationBatch NormalizationBERTBiasBoosting
C
ClusteringCNN / Convolutional Neural NetworkChatbotClassifier / ClassificationCross-Validation
D
Data AugmentationDeep LearningDeepfakeDeterministic ModelDiscriminative Model
E
EncoderEmbeddingEnsemble LearningEpochExplainable AI (XAI)
F
Foundation ModelFine-tuningFusion / Multimodal FusionFeature ExtractionForward Propagation
G
Graph Neural Network (GNN)GAN / Generative Adversarial NetworkGenerative AIGradient DescentGrounding
H
Hierarchical ModelHyperparameterHidden LayerHallucinationHeuristic
I
Instance / SampleInstruction tuningIntelligence Amplification / AugmentationInterpretabilityImbalanced Data
J
JAXJitteringJoint EmbeddingJSONL / JSON-linesJuxtaposition
K
Kernel TrickKL Divergence (Kullback–Leibler Divergence)K-means ClusteringK-Shot LearningKnowledge Distillation
L
Learning RateLarge Language Model (LLM)Latent VariableLoss FunctionLSTM / Long Short-Term Memory
M
ModelMachine Learning (ML)Meta-learningMulti-head AttentionMultimodal / Multimodality
N
Neural NetworkNovelty Detection / Anomaly DetectionNLP / Natural Language ProcessingNLU / Natural Language UnderstandingNormalization
O
Objective FunctionOptimizerOne-hot EncodingOnline LearningOverfitting
P
ParameterPromptPolicy / Reinforcement Learning PolicyPoolingPretraining
Q
QueryQ-learningQuality EstimationQuantizationQueue / Buffer
R
Representation LearningRegularizationReinforcement Learning (RL)Retrieval Augmented Generation (RAG)RNN / Recurrent Neural Network
S
SamplingSelf-Supervised LearningSequence ModelingSoftmaxSupervised Learning
T
TokenizerTransfer LearningTransformerTuning / Hyperparameter TuningTraining Data
U
Universal Approximation TheoremU-NetUnderfittingUncertainty EstimationUnsupervised Learning
V
Validation SetVanishing / Exploding GradientVariational Autoencoder (VAE)Vector EmbeddingVision Transformer (ViT)
W
Weak SupervisionWeight DecayWhitening / Whitening TransformationWord EmbeddingWorkflow
X
XOR problemX-axis / feature axisXAI / Explainable AIXLMXLNet
Y
Y-axis / feature axisY-transform / YUVYAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI
Z
Zero-gradient phenomenonZero-centric / Zero-bias initializationZ-score NormalizationZero-shot Learning / Zero-shot inferenceZygosity in augmentation

Was ist Wissensdestillation

Wissensdestillation ist eine Technik zur Modellkompression und Wissensübertragung, die hauptsächlich verwendet wird, um Wissen aus einem komplexen Modell (in der Regel ein tiefes Lernmodell) zu extrahieren und an ein einfacheres Modell zu übertragen. Das grundlegende Prinzip besteht darin, ein kleineres Modell (Schülermodell) zu trainieren, um die Ausgabe eines größeren Modells (Lehrermodell) nachzuahmen, wodurch der Verbrauch von Rechenressourcen reduziert wird, während eine hohe Leistung erhalten bleibt.


Der Hintergrund dieser Technik ergibt sich aus der zunehmenden Komplexität von tiefen Lernmodellen, die während der Inferenz mehr Rechenressourcen benötigen. Durch die Anwendung von Wissensdestillation kann die Modellgröße effektiv reduziert und die Inferenzgeschwindigkeit erhöht werden, während die Genauigkeit möglichst wenig beeinträchtigt wird. Der Betrieb der Wissensdestillation umfasst die Generierung von weichen Labels durch das Lehrermodell auf Trainingsdaten und die Verwendung dieser weichen Labels zur Schulung des Schülermodells.


In typischen Szenarien wird Wissensdestillation häufig in Bereichen wie Bildverarbeitung, natürliche Sprachverarbeitung und Spracherkennung eingesetzt. Zum Beispiel kann in einer Bildklassifizierungsaufgabe ein großes konvolutionales neuronales Netzwerk (CNN) als Lehrermodell verwendet werden, während ein leichtes Netzwerk als Schülermodell während des Trainings fungiert. Zukünftige Trends zeigen, dass die Anwendung von Wissensdestillation mit zunehmender Komplexität von KI-Modellen zunehmen wird, insbesondere bei mobilen Geräten und Edge-Computing-Geräten.


Die Vorteile der Wissensdestillation umfassen die signifikante Verbesserung der Inferenzgeschwindigkeit und -effizienz von Modellen sowie die Verringerung des Speicherverbrauchs. Es gibt jedoch auch Nachteile, wie die Möglichkeit, dass das Schülermodell das Wissen des Lehrermodells nicht vollständig erfasst, was zu Leistungseinbußen führen kann. Darüber hinaus ist die Auswahl der geeigneten Architektur für sowohl das Lehrer- als auch das Schülermodell entscheidend für den Erfolg der Destillation.