Glossary

0-9

1-shot learning 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 4D data 0-shot learning 9-layer network 3D convolution

A

AGI / Artificial General Intelligence Autoencoder Attention Algorithm Artificial Intelligence (AI)

B

Backpropagation BERT Boosting Batch Normalization Bias

C

Chatbot Clustering CNN / Convolutional Neural Network Cross-Validation Classifier / Classification

D

Deep Learning Deepfake Discriminative Model Deterministic Model Data Augmentation

E

Embedding Encoder Epoch Ensemble Learning Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Forward Propagation Foundation Model Feature Extraction

G

GAN / Generative Adversarial Network Gradient Descent Grounding Graph Neural Network (GNN)Generative AI

H

Hyperparameter Heuristic Hidden Layer Hierarchical Model Hallucination

I

Imbalanced Data Interpretability Instruction tuning Instance / Sample Intelligence Amplification / Augmentation

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick Knowledge Distillation

L

Latent Variable Loss Function LSTM / Long Short-Term Memory Large Language Model (LLM)Learning Rate

M

Multimodal / Multimodality Machine Learning (ML)Meta-learning Model Multi-head Attention

N

Normalization Neural Network NLP / Natural Language Processing NLU / Natural Language Understanding Novelty Detection / Anomaly Detection

O

Objective Function Online Learning One-hot Encoding Overfitting Optimizer

P

Policy / Reinforcement Learning Policy Pooling Pretraining Prompt Parameter

Q

Queue / Buffer Quantization Q-learning Query Quality Estimation

R

Retrieval Augmented Generation (RAG)Representation Learning Reinforcement Learning (RL)Regularization RNN / Recurrent Neural Network

S

Supervised Learning Self-Supervised Learning Sequence Modeling Sampling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Universal Approximation Theorem Unsupervised Learning U-Net Underfitting Uncertainty Estimation

V

Variational Autoencoder (VAE)Vector Embedding Vanishing / Exploding Gradient Validation Set Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Z-score Normalization Zero-gradient phenomenon Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Zygosity in augmentation

Tỷ lệ Học là gì?

Tỷ lệ học là một siêu tham số quan trọng trong học máy và học sâu, quyết định tốc độ đào tạo của mô hình. Nó kiểm soát mức độ thay đổi của mô hình để phản ứng với sai số ước tính mỗi khi trọng số của mô hình được cập nhật.

Một tỷ lệ học được chọn tốt có thể tăng tốc đáng kể quá trình hội tụ của mô hình, trong khi một tỷ lệ không thích hợp có thể dẫn đến hội tụ chậm hoặc thậm chí là phân tán. Ví dụ, tỷ lệ học quá cao có thể khiến quá trình đào tạo dao động hoặc phân tán, trong khi tỷ lệ quá thấp có thể dẫn đến quá trình đào tạo diễn ra quá chậm.

Việc lựa chọn tỷ lệ học thường phụ thuộc vào nhiều yếu tố, bao gồm kích thước tập dữ liệu, độ phức tạp và kiến trúc của mô hình. Nhiều chiến lược lập lịch tỷ lệ học, chẳng hạn như giảm tỷ lệ học và tỷ lệ học thích ứng (như Adam và RMSprop), đã được đề xuất để tối ưu hóa kết quả đào tạo.

Trong thực tế, việc thiết lập tỷ lệ học thường được thực hiện thông qua thử nghiệm và lỗi, hướng dẫn bởi kinh nghiệm và kiểm tra chéo. Khi các thuật toán tối ưu hóa tiếp tục phát triển, quá trình chọn tỷ lệ học có thể sẽ trở nên tự động hơn, nâng cao hiệu quả và hiệu suất của việc đào tạo mô hình.