Glossary

0-9

1-shot learning 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 4D data 0-shot learning 9-layer network 3D convolution

A

AGI / Artificial General Intelligence Autoencoder Attention Algorithm Artificial Intelligence (AI)

B

Backpropagation BERT Boosting Batch Normalization Bias

C

Chatbot Clustering CNN / Convolutional Neural Network Cross-Validation Classifier / Classification

D

Deep Learning Deepfake Discriminative Model Deterministic Model Data Augmentation

E

Embedding Encoder Epoch Ensemble Learning Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Forward Propagation Foundation Model Feature Extraction

G

GAN / Generative Adversarial Network Gradient Descent Grounding Graph Neural Network (GNN)Generative AI

H

Hyperparameter Heuristic Hidden Layer Hierarchical Model Hallucination

I

Imbalanced Data Interpretability Instruction tuning Instance / Sample Intelligence Amplification / Augmentation

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick Knowledge Distillation

L

Latent Variable Loss Function LSTM / Long Short-Term Memory Large Language Model (LLM)Learning Rate

M

Multimodal / Multimodality Machine Learning (ML)Meta-learning Model Multi-head Attention

N

Normalization Neural Network NLP / Natural Language Processing NLU / Natural Language Understanding Novelty Detection / Anomaly Detection

O

Objective Function Online Learning One-hot Encoding Overfitting Optimizer

P

Policy / Reinforcement Learning Policy Pooling Pretraining Prompt Parameter

Q

Queue / Buffer Quantization Q-learning Query Quality Estimation

R

Retrieval Augmented Generation (RAG)Representation Learning Reinforcement Learning (RL)Regularization RNN / Recurrent Neural Network

S

Supervised Learning Self-Supervised Learning Sequence Modeling Sampling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Universal Approximation Theorem Unsupervised Learning U-Net Underfitting Uncertainty Estimation

V

Variational Autoencoder (VAE)Vector Embedding Vanishing / Exploding Gradient Validation Set Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Z-score Normalization Zero-gradient phenomenon Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Zygosity in augmentation

Khởi tạo trung tâm bằng không / khởi tạo không thiên lệch là gì?

Khởi tạo trung tâm bằng không hoặc khởi tạo không thiên lệch là một kỹ thuật được sử dụng rộng rãi trong học máy và học sâu để thiết lập các trọng số hoặc tham số ban đầu của một mô hình thành không. Phương pháp này nhằm tránh những thiên lệch trong các giai đoạn đầu của quá trình huấn luyện, cải thiện tốc độ hội tụ và hiệu suất tổng thể của mô hình.

Trong học sâu, việc khởi tạo trọng số của mạng có tác động sâu sắc đến hiệu suất cuối cùng của mô hình. Bằng cách khởi tạo trọng số thành không, mô hình có thể học tốt hơn cấu trúc của dữ liệu trong quá trình huấn luyện mà không bị sự không ổn định do trọng số khởi tạo ngẫu nhiên gây ra. Chìa khóa của phương pháp này là giảm thông tin dư thừa trong các giai đoạn đầu của quá trình huấn luyện, giúp mô hình nhanh chóng tìm ra các giải pháp tối ưu.

Tuy nhiên, khởi tạo bằng không cũng có những nhược điểm. Một vấn đề lớn là khi tất cả các trọng số được khởi tạo bằng không, các đầu ra của bất kỳ lớp nơ-ron nào trong quá trình lan truyền phía trước đều giống nhau. Điều này có thể cản trở việc cập nhật hiệu quả các trọng số trong quá trình giảm dần gradient, làm cho mô hình không thể học được. Do đó, thường được khuyến nghị sử dụng các chiến lược khởi tạo khác, chẳng hạn như khởi tạo Xavier hoặc khởi tạo He, trong một số trường hợp nhất định.