Glossary

0-9

1-shot learning 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 4D data 0-shot learning 9-layer network 3D convolution

A

AGI / Artificial General Intelligence Autoencoder Attention Algorithm Artificial Intelligence (AI)

B

Backpropagation BERT Boosting Batch Normalization Bias

C

Chatbot Clustering CNN / Convolutional Neural Network Cross-Validation Classifier / Classification

D

Deep Learning Deepfake Discriminative Model Deterministic Model Data Augmentation

E

Embedding Encoder Epoch Ensemble Learning Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Forward Propagation Foundation Model Feature Extraction

G

GAN / Generative Adversarial Network Gradient Descent Grounding Graph Neural Network (GNN)Generative AI

H

Hyperparameter Heuristic Hidden Layer Hierarchical Model Hallucination

I

Imbalanced Data Interpretability Instruction tuning Instance / Sample Intelligence Amplification / Augmentation

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick Knowledge Distillation

L

Latent Variable Loss Function LSTM / Long Short-Term Memory Large Language Model (LLM)Learning Rate

M

Multimodal / Multimodality Machine Learning (ML)Meta-learning Model Multi-head Attention

N

Normalization Neural Network NLP / Natural Language Processing NLU / Natural Language Understanding Novelty Detection / Anomaly Detection

O

Objective Function Online Learning One-hot Encoding Overfitting Optimizer

P

Policy / Reinforcement Learning Policy Pooling Pretraining Prompt Parameter

Q

Queue / Buffer Quantization Q-learning Query Quality Estimation

R

Retrieval Augmented Generation (RAG)Representation Learning Reinforcement Learning (RL)Regularization RNN / Recurrent Neural Network

S

Supervised Learning Self-Supervised Learning Sequence Modeling Sampling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Universal Approximation Theorem Unsupervised Learning U-Net Underfitting Uncertainty Estimation

V

Variational Autoencoder (VAE)Vector Embedding Vanishing / Exploding Gradient Validation Set Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Z-score Normalization Zero-gradient phenomenon Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Zygosity in augmentation

BERT là gì

BERT (Bi-directional Encoder Representations from Transformers) là một mô hình xử lý ngôn ngữ tự nhiên (NLP) được phát triển bởi Google vào năm 2018. Thiết kế của nó nhằm hiểu tốt hơn các mối quan hệ ngữ cảnh của ngôn ngữ, nắm bắt các tương tác giữa các từ trong một văn bản thông qua phương pháp hai chiều.

Đặc điểm chính của BERT là tính hai chiều, cho phép nó xem xét ngữ cảnh của các từ từ cả hai bên trái và phải đồng thời. Sự hiểu biết toàn diện này cho phép BERT nắm bắt các ý nghĩa tinh tế của câu hiệu quả hơn so với các mô hình một chiều truyền thống.

BERT đã có ảnh hưởng đáng kể đối với cả học thuật và công nghiệp, cải thiện các ứng dụng trong hệ thống hỏi đáp, phân tích cảm xúc và phân loại văn bản. Nhiều công cụ tìm kiếm và chatbot đã bắt đầu triển khai BERT để cải thiện khả năng hiểu ngôn ngữ tự nhiên của chúng.

Tuy nhiên, BERT cũng có những hạn chế như yêu cầu tài nguyên tính toán cao và tốc độ xử lý có thể chậm hơn. Ngoài ra, BERT có thể cần tinh chỉnh thêm để đạt hiệu suất tối ưu trong việc hiểu ngôn ngữ ở các lĩnh vực cụ thể.