Glossary

0-9

1-shot learning 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 4D data 0-shot learning 9-layer network 3D convolution

A

AGI / Artificial General Intelligence Autoencoder Attention Algorithm Artificial Intelligence (AI)

B

Backpropagation BERT Boosting Batch Normalization Bias

C

Chatbot Clustering CNN / Convolutional Neural Network Cross-Validation Classifier / Classification

D

Deep Learning Deepfake Discriminative Model Deterministic Model Data Augmentation

E

Embedding Encoder Epoch Ensemble Learning Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Forward Propagation Foundation Model Feature Extraction

G

GAN / Generative Adversarial Network Gradient Descent Grounding Graph Neural Network (GNN)Generative AI

H

Hyperparameter Heuristic Hidden Layer Hierarchical Model Hallucination

I

Imbalanced Data Interpretability Instruction tuning Instance / Sample Intelligence Amplification / Augmentation

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick Knowledge Distillation

L

Latent Variable Loss Function LSTM / Long Short-Term Memory Large Language Model (LLM)Learning Rate

M

Multimodal / Multimodality Machine Learning (ML)Meta-learning Model Multi-head Attention

N

Normalization Neural Network NLP / Natural Language Processing NLU / Natural Language Understanding Novelty Detection / Anomaly Detection

O

Objective Function Online Learning One-hot Encoding Overfitting Optimizer

P

Policy / Reinforcement Learning Policy Pooling Pretraining Prompt Parameter

Q

Queue / Buffer Quantization Q-learning Query Quality Estimation

R

Retrieval Augmented Generation (RAG)Representation Learning Reinforcement Learning (RL)Regularization RNN / Recurrent Neural Network

S

Supervised Learning Self-Supervised Learning Sequence Modeling Sampling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Universal Approximation Theorem Unsupervised Learning U-Net Underfitting Uncertainty Estimation

V

Variational Autoencoder (VAE)Vector Embedding Vanishing / Exploding Gradient Validation Set Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Z-score Normalization Zero-gradient phenomenon Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Zygosity in augmentation

Divergence KL (Kullback–Leibler) là gì

Divergence Kullback-Leibler (KL) là một khái niệm cơ bản trong lý thuyết thông tin và thống kê, được sử dụng để định lượng sự khác biệt giữa hai phân phối xác suất. Nó được áp dụng rộng rãi trong các lĩnh vực như học máy, thống kê và tìm kiếm thông tin. Giá trị divergence KL càng nhỏ, hai phân phối càng giống nhau; ngược lại, giá trị lớn hơn cho thấy sự khác biệt lớn hơn.

Công thức cho divergence KL được định nghĩa như sau:
D_{KL}(P || Q) = ∑ P(i) log(P(i)/Q(i)), trong đó P và Q là hai phân phối xác suất. Divergence KL là không âm đối với các phân phối xác suất không âm và chỉ bằng 0 khi P và Q hoàn toàn giống nhau. Một đặc điểm nổi bật của divergence KL là tính không đối xứng của nó; D_{KL}(P || Q) không bằng D_{KL}(Q || P).

Trong thực hành, divergence KL thường được sử dụng để đánh giá mô hình, đào tạo các mô hình sinh và nén thông tin. Ví dụ, các thuật toán tối ưu trong học máy có thể giảm thiểu divergence KL để điều chỉnh phân phối dự đoán của mô hình với phân phối dữ liệu thực tế.

Trong tương lai, với sự phát triển của công nghệ học sâu và dữ liệu lớn, divergence KL có thể được kết hợp với các chỉ số thông tin khác để tạo ra các mô hình phức tạp hơn nhằm xử lý dữ liệu có chiều cao.

Ưu điểm của divergence KL bao gồm tính đơn giản toán học và dễ tính toán, nhưng nhược điểm là nhạy cảm với các sự kiện xác suất bằng không, có thể dẫn đến kết quả không ổn định. Khi sử dụng, cần đảm bảo rằng các phân phối xác suất đầu vào là hợp lệ.