Glossary

0-9

1-shot learning 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 4D data 0-shot learning 9-layer network 3D convolution

A

AGI / Artificial General Intelligence Autoencoder Attention Algorithm Artificial Intelligence (AI)

B

Backpropagation BERT Boosting Batch Normalization Bias

C

Chatbot Clustering CNN / Convolutional Neural Network Cross-Validation Classifier / Classification

D

Deep Learning Deepfake Discriminative Model Deterministic Model Data Augmentation

E

Embedding Encoder Epoch Ensemble Learning Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Forward Propagation Foundation Model Feature Extraction

G

GAN / Generative Adversarial Network Gradient Descent Grounding Graph Neural Network (GNN)Generative AI

H

Hyperparameter Heuristic Hidden Layer Hierarchical Model Hallucination

I

Imbalanced Data Interpretability Instruction tuning Instance / Sample Intelligence Amplification / Augmentation

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick Knowledge Distillation

L

Latent Variable Loss Function LSTM / Long Short-Term Memory Large Language Model (LLM)Learning Rate

M

Multimodal / Multimodality Machine Learning (ML)Meta-learning Model Multi-head Attention

N

Normalization Neural Network NLP / Natural Language Processing NLU / Natural Language Understanding Novelty Detection / Anomaly Detection

O

Objective Function Online Learning One-hot Encoding Overfitting Optimizer

P

Policy / Reinforcement Learning Policy Pooling Pretraining Prompt Parameter

Q

Queue / Buffer Quantization Q-learning Query Quality Estimation

R

Retrieval Augmented Generation (RAG)Representation Learning Reinforcement Learning (RL)Regularization RNN / Recurrent Neural Network

S

Supervised Learning Self-Supervised Learning Sequence Modeling Sampling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Universal Approximation Theorem Unsupervised Learning U-Net Underfitting Uncertainty Estimation

V

Variational Autoencoder (VAE)Vector Embedding Vanishing / Exploding Gradient Validation Set Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Z-score Normalization Zero-gradient phenomenon Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Zygosity in augmentation

LSTM / Bộ nhớ Ngắn và Dài hạn là gì

LSTM (Bộ nhớ Ngắn và Dài hạn) là một loại mạng nơ-ron hồi tiếp (RNN) đặc biệt được thiết kế để xử lý và dự đoán các chuỗi dữ liệu. Được giới thiệu bởi Hochreiter và Schmidhuber vào năm 1997, nó giải quyết các vấn đề về độ biến mất và bùng nổ của gradient thường gặp trong các RNN truyền thống khi xử lý các chuỗi dài. Cấu trúc của LSTM cho phép nó giữ thông tin trong thời gian dài, làm cho nó phù hợp cho các nhiệm vụ liên quan đến chuỗi thời gian, xử lý ngôn ngữ tự nhiên và nhận dạng giọng nói.

Điểm cốt lõi của LSTM nằm ở cấu trúc tế bào độc đáo của nó, bao gồm một cổng đầu vào, cổng quên và cổng đầu ra. Những cơ chế cổng này giúp LSTM quyết định khi nào giữ lại, cập nhật hoặc loại bỏ thông tin. Cơ chế hoạt động này cho phép LSTM nổi bật trong các nhiệm vụ yêu cầu bộ nhớ dài hạn, như tạo văn bản và dịch máy.

Trong thực tế, LSTM đã được sử dụng rộng rãi trong nhiều lĩnh vực, như dự đoán dữ liệu tài chính, mô hình khí hậu, nhận dạng giọng nói và phân tích video. Tuy nhiên, cấu trúc phức tạp và yêu cầu tính toán cao của nó là những nhược điểm chính.

Trong tương lai, khi các công nghệ học sâu tiếp tục phát triển, LSTM có thể được kết hợp với các công nghệ mới nổi khác, như các mô hình Transformer, để nâng cao hiệu quả và hiệu suất xử lý. Do đó, việc hiểu rõ cơ chế hoạt động của LSTM và ứng dụng của nó trong học sâu hiện đại là rất quan trọng.