TopAIToolsTopAITools

Glossary

0-9
1-shot learning5G + AI7D representation0-shot learning3D convolution4D data2-stage detector6DoF pose estimation8-bit quantization9-layer network
A
AGI / Artificial General IntelligenceAlgorithmAttentionAutoencoderArtificial Intelligence (AI)
B
BackpropagationBERTBiasBoostingBatch Normalization
C
ChatbotClassifier / ClassificationClusteringCNN / Convolutional Neural NetworkCross-Validation
D
Data AugmentationDeep LearningDeepfakeDeterministic ModelDiscriminative Model
E
Ensemble LearningEmbeddingEncoderEpochExplainable AI (XAI)
F
Feature ExtractionFine-tuningFusion / Multimodal FusionFoundation ModelForward Propagation
G
Gradient DescentGAN / Generative Adversarial NetworkGroundingGenerative AIGraph Neural Network (GNN)
H
Hidden LayerHallucinationHeuristicHyperparameterHierarchical Model
I
Intelligence Amplification / AugmentationImbalanced DataInstance / SampleInstruction tuningInterpretability
J
JAXJitteringJoint EmbeddingJSONL / JSON-linesJuxtaposition
K
Knowledge DistillationKL Divergence (Kullback–Leibler Divergence)K-means ClusteringK-Shot LearningKernel Trick
L
Loss FunctionLSTM / Long Short-Term MemoryLearning RateLarge Language Model (LLM)Latent Variable
M
Machine Learning (ML)Meta-learningModelMulti-head AttentionMultimodal / Multimodality
N
Novelty Detection / Anomaly DetectionNLP / Natural Language ProcessingNLU / Natural Language UnderstandingNormalizationNeural Network
O
Online LearningObjective FunctionOne-hot EncodingOptimizerOverfitting
P
ParameterPolicy / Reinforcement Learning PolicyPoolingPretrainingPrompt
Q
Quality EstimationQueue / BufferQ-learningQuantizationQuery
R
Representation LearningReinforcement Learning (RL)Retrieval Augmented Generation (RAG)RegularizationRNN / Recurrent Neural Network
S
SamplingSelf-Supervised LearningSupervised LearningSequence ModelingSoftmax
T
Training DataTokenizerTransfer LearningTransformerTuning / Hyperparameter Tuning
U
Unsupervised LearningUncertainty EstimationUniversal Approximation TheoremU-NetUnderfitting
V
Vector EmbeddingVanishing / Exploding GradientValidation SetVariational Autoencoder (VAE)Vision Transformer (ViT)
W
Weak SupervisionWeight DecayWhitening / Whitening TransformationWord EmbeddingWorkflow
X
X-axis / feature axisXOR problemXAI / Explainable AIXLMXLNet
Y
Y-axis / feature axisY-transform / YUVYAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI
Z
Zero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZ-score NormalizationZero-gradient phenomenonZygosity in augmentation

O que é Destilação de Conhecimento

A destilação de conhecimento é uma técnica de compressão de modelo e transferência de conhecimento usada principalmente para extrair e transferir conhecimentos de um modelo complexo (geralmente um modelo de aprendizado profundo) para um modelo mais simples. O princípio fundamental é treinar um modelo menor (modelo aluno) para imitar a saída de um modelo maior (modelo professor), reduzindo assim o consumo de recursos computacionais enquanto mantém um alto desempenho.


O contexto dessa técnica decorre do aumento da complexidade dos modelos de aprendizado profundo, que exigem mais recursos computacionais durante a inferência. Através da destilação de conhecimento, é possível reduzir efetivamente o tamanho do modelo e aumentar a velocidade da inferência, minimizando a perda de precisão. O funcionamento da destilação de conhecimento envolve gerar rótulos suaves a partir do modelo professor em dados de treinamento e usar esses rótulos suaves para treinar o modelo aluno.


Em cenários típicos, a destilação de conhecimento é amplamente aplicada em áreas como reconhecimento de imagem, processamento de linguagem natural e reconhecimento de fala. Por exemplo, em uma tarefa de classificação de imagens, uma grande rede neural convolucional (CNN) pode ser usada como modelo professor, enquanto uma rede leve atua como modelo aluno durante o treinamento. As tendências futuras indicam que, à medida que os modelos de IA se tornam mais complexos, a aplicação da destilação de conhecimento se tornará cada vez mais comum, especialmente em dispositivos móveis e de computação de borda.


As vantagens da destilação de conhecimento incluem a melhoria significativa da velocidade e eficiência da inferência do modelo, além da redução do uso de memória. No entanto, também há desvantagens, como a possibilidade de o modelo aluno não conseguir capturar completamente o conhecimento do modelo professor, levando à perda de desempenho. Além disso, escolher a arquitetura adequada para os modelos professor e aluno é crucial para o sucesso da destilação.