TopAIToolsTopAITools

Glossary

0-9
6DoF pose estimation4D data5G + AI1-shot learning0-shot learning3D convolution8-bit quantization7D representation2-stage detector9-layer network
A
Artificial Intelligence (AI)AGI / Artificial General IntelligenceAutoencoderAttentionAlgorithm
B
BackpropagationBERTBiasBoostingBatch Normalization
C
Classifier / ClassificationCNN / Convolutional Neural NetworkClusteringCross-ValidationChatbot
D
Data AugmentationDeep LearningDeepfakeDeterministic ModelDiscriminative Model
E
Ensemble LearningEncoderEmbeddingEpochExplainable AI (XAI)
F
Fine-tuningFusion / Multimodal FusionFeature ExtractionForward PropagationFoundation Model
G
GAN / Generative Adversarial NetworkGradient DescentGroundingGenerative AIGraph Neural Network (GNN)
H
Hierarchical ModelHeuristicHallucinationHidden LayerHyperparameter
I
Instance / SampleInstruction tuningIntelligence Amplification / AugmentationInterpretabilityImbalanced Data
J
JuxtapositionJitteringJAXJoint EmbeddingJSONL / JSON-lines
K
K-Shot LearningKernel TrickK-means ClusteringKnowledge DistillationKL Divergence (Kullback–Leibler Divergence)
L
Learning RateLarge Language Model (LLM)Loss FunctionLatent VariableLSTM / Long Short-Term Memory
M
Machine Learning (ML)Meta-learningModelMulti-head AttentionMultimodal / Multimodality
N
NLP / Natural Language ProcessingNovelty Detection / Anomaly DetectionNLU / Natural Language UnderstandingNormalizationNeural Network
O
Online LearningObjective FunctionOne-hot EncodingOverfittingOptimizer
P
PretrainingPoolingParameterPolicy / Reinforcement Learning PolicyPrompt
Q
Q-learningQueue / BufferQuantizationQuality EstimationQuery
R
Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Representation LearningRegularizationRNN / Recurrent Neural Network
S
Self-Supervised LearningSupervised LearningSequence ModelingSamplingSoftmax
T
Tuning / Hyperparameter TuningTokenizerTraining DataTransfer LearningTransformer
U
Unsupervised LearningUniversal Approximation TheoremUnderfittingUncertainty EstimationU-Net
V
Vector EmbeddingVariational Autoencoder (VAE)Validation SetVision Transformer (ViT)Vanishing / Exploding Gradient
W
Weight DecayWeak SupervisionWhitening / Whitening TransformationWord EmbeddingWorkflow
X
XOR problemXAI / Explainable AIX-axis / feature axisXLMXLNet
Y
Y-axis / feature axisYield (model yield / throughput)YAGNI (You Aren't Gonna Need It)Y-transform / YUVYoga of AI
Z
Zero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZ-score NormalizationZero-gradient phenomenonZygosity in augmentation

Qué es la Destilación de Conocimiento

La destilación de conocimiento es una técnica de compresión de modelos y transferencia de conocimiento que se utiliza principalmente para extraer y transferir el conocimiento de un modelo complejo (generalmente un modelo de aprendizaje profundo) a uno más simple. El principio fundamental es entrenar un modelo más pequeño (modelo estudiante) para imitar la salida de un modelo más grande (modelo maestro), reduciendo así el consumo de recursos computacionales mientras se mantiene un alto rendimiento.


El contexto de esta técnica proviene del aumento de la complejidad de los modelos de aprendizaje profundo, que requieren más recursos computacionales durante la inferencia. A través de la destilación de conocimiento, es posible reducir efectivamente el tamaño del modelo y aumentar la velocidad de la inferencia, minimizando la pérdida de precisión. El funcionamiento de la destilación de conocimiento implica generar etiquetas suaves a partir del modelo maestro en datos de entrenamiento y utilizar estas etiquetas suaves para entrenar al modelo estudiante.


En escenarios típicos, la destilación de conocimiento se aplica ampliamente en áreas como el reconocimiento de imágenes, el procesamiento del lenguaje natural y el reconocimiento de voz. Por ejemplo, en una tarea de clasificación de imágenes, una gran red neuronal convolucional (CNN) puede ser utilizada como modelo maestro, mientras que una red ligera actúa como modelo estudiante durante el entrenamiento. Las tendencias futuras indican que, a medida que los modelos de IA se vuelven más complejos, la aplicación de la destilación de conocimiento se volverá cada vez más común, especialmente en dispositivos móviles y de computación en el borde.


Las ventajas de la destilación de conocimiento incluyen mejorar significativamente la velocidad y eficiencia de la inferencia del modelo, así como reducir el uso de memoria. Sin embargo, también existen desventajas, como la posibilidad de que el modelo estudiante no capture completamente el conocimiento del modelo maestro, lo que lleva a una pérdida de rendimiento. Además, elegir la arquitectura adecuada para los modelos maestro y estudiante es crucial para el éxito de la destilación.