Glossary

0-9

1-shot learning 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 4D data 0-shot learning 9-layer network 3D convolution

A

AGI / Artificial General Intelligence Autoencoder Attention Algorithm Artificial Intelligence (AI)

B

Backpropagation BERT Boosting Batch Normalization Bias

C

Chatbot Clustering CNN / Convolutional Neural Network Cross-Validation Classifier / Classification

D

Deep Learning Deepfake Discriminative Model Deterministic Model Data Augmentation

E

Embedding Encoder Epoch Ensemble Learning Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Forward Propagation Foundation Model Feature Extraction

G

GAN / Generative Adversarial Network Gradient Descent Grounding Graph Neural Network (GNN)Generative AI

H

Hyperparameter Heuristic Hidden Layer Hierarchical Model Hallucination

I

Imbalanced Data Interpretability Instruction tuning Instance / Sample Intelligence Amplification / Augmentation

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick Knowledge Distillation

L

Latent Variable Loss Function LSTM / Long Short-Term Memory Large Language Model (LLM)Learning Rate

M

Multimodal / Multimodality Machine Learning (ML)Meta-learning Model Multi-head Attention

N

Normalization Neural Network NLP / Natural Language Processing NLU / Natural Language Understanding Novelty Detection / Anomaly Detection

O

Objective Function Online Learning One-hot Encoding Overfitting Optimizer

P

Policy / Reinforcement Learning Policy Pooling Pretraining Prompt Parameter

Q

Queue / Buffer Quantization Q-learning Query Quality Estimation

R

Retrieval Augmented Generation (RAG)Representation Learning Reinforcement Learning (RL)Regularization RNN / Recurrent Neural Network

S

Supervised Learning Self-Supervised Learning Sequence Modeling Sampling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Universal Approximation Theorem Unsupervised Learning U-Net Underfitting Uncertainty Estimation

V

Variational Autoencoder (VAE)Vector Embedding Vanishing / Exploding Gradient Validation Set Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Z-score Normalization Zero-gradient phenomenon Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Zygosity in augmentation

Gradient Descent là gì

Gradient Descent là một thuật toán tối ưu hóa được sử dụng rộng rãi trong học máy và thống kê. Mục tiêu chính của nó là giảm thiểu một hàm một cách lặp đi lặp lại, chẳng hạn như hàm chi phí hoặc hàm mất mát.

Ý tưởng cốt lõi của Gradient Descent là tính toán gradient của hàm tại một điểm nhất định, cho biết hướng giảm dốc nhất. Bằng cách cập nhật các tham số theo hướng này, thuật toán dần dần tiến gần đến giải pháp tối ưu.

Trong các tình huống điển hình, Gradient Descent được sử dụng trong nhiều ứng dụng khác nhau, bao gồm học sâu, hồi quy tuyến tính và hồi quy logistic. Với sự phát triển của dữ liệu lớn và khả năng tính toán, các biến thể của Gradient Descent, chẳng hạn như Gradient Descent Ngẫu Nhiên, Gradient Descent Mini-batch và Động Lực, đã được giới thiệu để cải thiện hiệu suất và tốc độ hội tụ.

Trong tương lai, Gradient Descent có thể sẽ tiếp tục phát triển, kết hợp với các kỹ thuật tối ưu hóa khác để giải quyết các vấn đề phức tạp hơn. Tuy nhiên, mặc dù hiệu quả, nó cũng có một số nhược điểm, chẳng hạn như khả năng bị kẹt trong các cực tiểu địa phương và độ nhạy với tốc độ học tập, do đó cần có sự điều chỉnh và lựa chọn cẩn thận khi áp dụng phương pháp này.