Glossary

0-9

1-shot learning 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 4D data 0-shot learning 9-layer network 3D convolution

A

AGI / Artificial General Intelligence Autoencoder Attention Algorithm Artificial Intelligence (AI)

B

Backpropagation BERT Boosting Batch Normalization Bias

C

Chatbot Clustering CNN / Convolutional Neural Network Cross-Validation Classifier / Classification

D

Deep Learning Deepfake Discriminative Model Deterministic Model Data Augmentation

E

Embedding Encoder Epoch Ensemble Learning Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Forward Propagation Foundation Model Feature Extraction

G

GAN / Generative Adversarial Network Gradient Descent Grounding Graph Neural Network (GNN)Generative AI

H

Hyperparameter Heuristic Hidden Layer Hierarchical Model Hallucination

I

Imbalanced Data Interpretability Instruction tuning Instance / Sample Intelligence Amplification / Augmentation

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick Knowledge Distillation

L

Latent Variable Loss Function LSTM / Long Short-Term Memory Large Language Model (LLM)Learning Rate

M

Multimodal / Multimodality Machine Learning (ML)Meta-learning Model Multi-head Attention

N

Normalization Neural Network NLP / Natural Language Processing NLU / Natural Language Understanding Novelty Detection / Anomaly Detection

O

Objective Function Online Learning One-hot Encoding Overfitting Optimizer

P

Policy / Reinforcement Learning Policy Pooling Pretraining Prompt Parameter

Q

Queue / Buffer Quantization Q-learning Query Quality Estimation

R

Retrieval Augmented Generation (RAG)Representation Learning Reinforcement Learning (RL)Regularization RNN / Recurrent Neural Network

S

Supervised Learning Self-Supervised Learning Sequence Modeling Sampling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Universal Approximation Theorem Unsupervised Learning U-Net Underfitting Uncertainty Estimation

V

Variational Autoencoder (VAE)Vector Embedding Vanishing / Exploding Gradient Validation Set Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Z-score Normalization Zero-gradient phenomenon Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Zygosity in augmentation

Pretraining là gì?

Pretraining đề cập đến quá trình huấn luyện ban đầu trong học máy và học sâu, đặc biệt là trong xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính. Quá trình này được thiết kế để cho phép các mô hình học các đặc điểm và mẫu chung trước khi tinh chỉnh cho các nhiệm vụ cụ thể.

Trong giai đoạn pretraining, các mô hình thường được huấn luyện trên các tập dữ liệu lớn không có nhãn. Điều này cho phép chúng nắm bắt được cấu trúc cơ bản, ngữ pháp và thông tin ngữ nghĩa trong dữ liệu. Ví dụ, các mô hình ngôn ngữ đã được huấn luyện trước như BERT và GPT học các mối quan hệ và thông tin ngữ cảnh giữa các từ bằng cách quan sát một lượng lớn văn bản.

Một lợi thế quan trọng của pretraining là khả năng cải thiện đáng kể hiệu suất của mô hình trong các nhiệm vụ cụ thể, đặc biệt là khi các mẫu hiếm. Bằng cách pretraining trên các tập dữ liệu rộng hơn, các mô hình có thể hội tụ nhanh hơn trong quá trình tinh chỉnh, qua đó tiết kiệm thời gian và tài nguyên tính toán. Tuy nhiên, pretraining cũng có những nhược điểm, chẳng hạn như yêu cầu cao về tài nguyên tính toán và khả năng gây ra thiên kiến và không chính xác.

Trong tương lai, với sự tiến bộ của công nghệ, các phương pháp pretraining có thể trở nên linh hoạt và hiệu quả hơn, tích hợp các cách tiếp cận mới nổi như học tự giám sát và học chuyển giao để nâng cao hơn nữa hiệu quả và khả năng áp dụng của mô hình.