Glossary

0-9

1-shot learning 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 4D data 0-shot learning 9-layer network 3D convolution

A

AGI / Artificial General Intelligence Autoencoder Attention Algorithm Artificial Intelligence (AI)

B

Backpropagation BERT Boosting Batch Normalization Bias

C

Chatbot Clustering CNN / Convolutional Neural Network Cross-Validation Classifier / Classification

D

Deep Learning Deepfake Discriminative Model Deterministic Model Data Augmentation

E

Embedding Encoder Epoch Ensemble Learning Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Forward Propagation Foundation Model Feature Extraction

G

GAN / Generative Adversarial Network Gradient Descent Grounding Graph Neural Network (GNN)Generative AI

H

Hyperparameter Heuristic Hidden Layer Hierarchical Model Hallucination

I

Imbalanced Data Interpretability Instruction tuning Instance / Sample Intelligence Amplification / Augmentation

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick Knowledge Distillation

L

Latent Variable Loss Function LSTM / Long Short-Term Memory Large Language Model (LLM)Learning Rate

M

Multimodal / Multimodality Machine Learning (ML)Meta-learning Model Multi-head Attention

N

Normalization Neural Network NLP / Natural Language Processing NLU / Natural Language Understanding Novelty Detection / Anomaly Detection

O

Objective Function Online Learning One-hot Encoding Overfitting Optimizer

P

Policy / Reinforcement Learning Policy Pooling Pretraining Prompt Parameter

Q

Queue / Buffer Quantization Q-learning Query Quality Estimation

R

Retrieval Augmented Generation (RAG)Representation Learning Reinforcement Learning (RL)Regularization RNN / Recurrent Neural Network

S

Supervised Learning Self-Supervised Learning Sequence Modeling Sampling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Universal Approximation Theorem Unsupervised Learning U-Net Underfitting Uncertainty Estimation

V

Variational Autoencoder (VAE)Vector Embedding Vanishing / Exploding Gradient Validation Set Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Z-score Normalization Zero-gradient phenomenon Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Zygosity in augmentation

Transformer là gì

Transformer là một mô hình đột phá được giới thiệu bởi các nhà nghiên cứu của Google vào năm 2017, chủ yếu được sử dụng trong các nhiệm vụ xử lý ngôn ngữ tự nhiên (NLP). Khác với các mạng nơ-ron hồi tiếp (RNN) truyền thống, các Transformer sử dụng cơ chế tự chú ý để xử lý dữ liệu chuỗi một cách hiệu quả hơn.

Cấu trúc của nó bao gồm một bộ mã hóa chuyển đổi các chuỗi đầu vào thành các biểu diễn có liên quan đến ngữ cảnh và một bộ giải mã tạo ra các chuỗi đầu ra dựa trên các biểu diễn này. Thiết kế này cải thiện đáng kể hiệu suất trong các nhiệm vụ như dịch máy và tạo văn bản.

Nhiều biến thể của Transformer như BERT và GPT đã xuất hiện, thúc đẩy sự tiến bộ trong lĩnh vực NLP. Khi nghiên cứu tiếp tục, chúng ta mong đợi sẽ thấy nhiều cải tiến và ứng dụng hơn trong các lĩnh vực khác nhau, bao gồm xử lý hình ảnh và nhận diện giọng nói.

Tuy nhiên, những thách thức như độ phức tạp tính toán và sự phụ thuộc vào các tập dữ liệu lớn vẫn còn là những vấn đề cần được giải quyết.