Glossary

0-9

1-shot learning 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 4D data 0-shot learning 9-layer network 3D convolution

A

AGI / Artificial General Intelligence Autoencoder Attention Algorithm Artificial Intelligence (AI)

B

Backpropagation BERT Boosting Batch Normalization Bias

C

Chatbot Clustering CNN / Convolutional Neural Network Cross-Validation Classifier / Classification

D

Deep Learning Deepfake Discriminative Model Deterministic Model Data Augmentation

E

Embedding Encoder Epoch Ensemble Learning Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Forward Propagation Foundation Model Feature Extraction

G

GAN / Generative Adversarial Network Gradient Descent Grounding Graph Neural Network (GNN)Generative AI

H

Hyperparameter Heuristic Hidden Layer Hierarchical Model Hallucination

I

Imbalanced Data Interpretability Instruction tuning Instance / Sample Intelligence Amplification / Augmentation

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick Knowledge Distillation

L

Latent Variable Loss Function LSTM / Long Short-Term Memory Large Language Model (LLM)Learning Rate

M

Multimodal / Multimodality Machine Learning (ML)Meta-learning Model Multi-head Attention

N

Normalization Neural Network NLP / Natural Language Processing NLU / Natural Language Understanding Novelty Detection / Anomaly Detection

O

Objective Function Online Learning One-hot Encoding Overfitting Optimizer

P

Policy / Reinforcement Learning Policy Pooling Pretraining Prompt Parameter

Q

Queue / Buffer Quantization Q-learning Query Quality Estimation

R

Retrieval Augmented Generation (RAG)Representation Learning Reinforcement Learning (RL)Regularization RNN / Recurrent Neural Network

S

Supervised Learning Self-Supervised Learning Sequence Modeling Sampling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Universal Approximation Theorem Unsupervised Learning U-Net Underfitting Uncertainty Estimation

V

Variational Autoencoder (VAE)Vector Embedding Vanishing / Exploding Gradient Validation Set Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Z-score Normalization Zero-gradient phenomenon Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Zygosity in augmentation

Hiperparameter là gì?

Hiperparameter là một khái niệm quan trọng trong học máy và học sâu. Nó đề cập đến các tham số được xác định trước khi quá trình đào tạo mô hình diễn ra và không được học từ dữ liệu đào tạo. Thay vào đó, những tham số này cần phải được chỉ định bằng tay. Sự lựa chọn của các hiperparameter ảnh hưởng trực tiếp đến hiệu suất và kết quả của mô hình, do đó cần phải lựa chọn một cách cẩn thận.

Các loại hiperparameter phổ biến bao gồm tỷ lệ học, kích thước lô, tham số điều chỉnh và độ sâu cũng như độ rộng của cấu trúc mạng. Việc chọn lựa các hiperparameter phù hợp có thể giúp mô hình học tốt hơn các đặc điểm của dữ liệu, từ đó cải thiện khả năng tổng quát của mô hình trên dữ liệu mới. Quá trình chọn lựa hiperparameter thường liên quan đến các kỹ thuật như kiểm tra chéo để đảm bảo rằng các tham số được chọn thực sự cải thiện hiệu suất của mô hình.

Tuy nhiên, quá trình thiết lập các hiperparameter có thể là một nhiệm vụ thách thức và thường cần kinh nghiệm và nhiều thử nghiệm. Trong những năm gần đây, các kỹ thuật tối ưu hóa hiperparameter tự động, chẳng hạn như tối ưu hóa Bayes, đã xuất hiện để giảm thời gian và công sức cần thiết cho việc điều chỉnh thủ công. Những phương pháp này tìm kiếm một cách thông minh trong không gian hiperparameter để tìm ra các kết hợp tối ưu.

Trong tương lai, khi các công nghệ học máy tiếp tục phát triển, các phương pháp tối ưu hóa hiperparameter dự kiến sẽ trở nên thông minh và tự động hơn, có thể dẫn đến một quá trình đào tạo mô hình hoàn toàn tự động.