TopAIToolsTopAITools

Glossary

0-9
1-shot learning5G + AI6DoF pose estimation7D representation8-bit quantization2-stage detector4D data0-shot learning9-layer network3D convolution
A
AGI / Artificial General IntelligenceAutoencoderAttentionAlgorithmArtificial Intelligence (AI)
B
BackpropagationBERTBoostingBatch NormalizationBias
C
ChatbotClusteringCNN / Convolutional Neural NetworkCross-ValidationClassifier / Classification
D
Deep LearningDeepfakeDiscriminative ModelDeterministic ModelData Augmentation
E
EmbeddingEncoderEpochEnsemble LearningExplainable AI (XAI)
F
Fine-tuningFusion / Multimodal FusionForward PropagationFoundation ModelFeature Extraction
G
GAN / Generative Adversarial NetworkGradient DescentGroundingGraph Neural Network (GNN)Generative AI
H
HyperparameterHeuristicHidden LayerHierarchical ModelHallucination
I
Imbalanced DataInterpretabilityInstruction tuningInstance / SampleIntelligence Amplification / Augmentation
J
JAXJitteringJoint EmbeddingJSONL / JSON-linesJuxtaposition
K
KL Divergence (Kullback–Leibler Divergence)K-means ClusteringK-Shot LearningKernel TrickKnowledge Distillation
L
Latent VariableLoss FunctionLSTM / Long Short-Term MemoryLarge Language Model (LLM)Learning Rate
M
Multimodal / MultimodalityMachine Learning (ML)Meta-learningModelMulti-head Attention
N
NormalizationNeural NetworkNLP / Natural Language ProcessingNLU / Natural Language UnderstandingNovelty Detection / Anomaly Detection
O
Objective FunctionOnline LearningOne-hot EncodingOverfittingOptimizer
P
Policy / Reinforcement Learning PolicyPoolingPretrainingPromptParameter
Q
Queue / BufferQuantizationQ-learningQueryQuality Estimation
R
Retrieval Augmented Generation (RAG)Representation LearningReinforcement Learning (RL)RegularizationRNN / Recurrent Neural Network
S
Supervised LearningSelf-Supervised LearningSequence ModelingSamplingSoftmax
T
Training DataTokenizerTransfer LearningTransformerTuning / Hyperparameter Tuning
U
Universal Approximation TheoremUnsupervised LearningU-NetUnderfittingUncertainty Estimation
V
Variational Autoencoder (VAE)Vector EmbeddingVanishing / Exploding GradientValidation SetVision Transformer (ViT)
W
Weak SupervisionWeight DecayWhitening / Whitening TransformationWord EmbeddingWorkflow
X
XOR problemX-axis / feature axisXAI / Explainable AIXLMXLNet
Y
Y-axis / feature axisY-transform / YUVYAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI
Z
Z-score NormalizationZero-gradient phenomenonZero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZygosity in augmentation

Chuẩn hóa theo lô là gì

Chuẩn hóa theo lô là một kỹ thuật rất quan trọng trong việc đào tạo các mô hình học sâu, nhằm cải thiện tốc độ và độ ổn định của quá trình đào tạo.


Ý tưởng cốt lõi là chuẩn hóa các đầu vào của mỗi lớp, giữ cho giá trị trung bình và phương sai nằm trong một khoảng nhỏ trên mỗi lô dữ liệu. Phương pháp này giúp giảm đáng kể sự thay đổi của các biến nội bộ, cho phép sử dụng tỷ lệ học cao hơn và tăng tốc độ hội tụ.


Ý nghĩa của chuẩn hóa theo lô thể hiện qua nhiều khía cạnh. Đầu tiên, nó giúp tăng tốc việc đào tạo mạng nơ-ron, vì dữ liệu đã chuẩn hóa sẽ làm cho quá trình học trở nên mượt mà hơn. Thứ hai, nó cải thiện khả năng tổng quát của mô hình, giảm nguy cơ overfitting. Ngoài ra, trong một số trường hợp, chuẩn hóa theo lô có thể cung cấp một mức độ điều chỉnh nhất định, giảm sự phụ thuộc vào các kỹ thuật điều chỉnh khác như Dropout.


Cơ chế hoạt động bao gồm việc tính toán giá trị trung bình và phương sai của lô hiện tại, sau đó chuẩn hóa đầu vào dựa trên các số liệu thống kê này. Sau đó, dữ liệu đã chuẩn hóa được điều chỉnh thông qua các tham số tỷ lệ và dịch có thể đào tạo. Quá trình này được cập nhật trong mỗi bước đào tạo, cho phép mô hình điều chỉnh một cách thích ứng trong suốt quá trình đào tạo.


Tuy nhiên, chuẩn hóa theo lô không phải không có nhược điểm. Trong một số trường hợp, đặc biệt là với kích thước lô nhỏ, các ước lượng về giá trị trung bình và phương sai có thể không ổn định. Hơn nữa, chuẩn hóa theo lô có thể hoạt động kém trong một số kiến trúc mạng cụ thể, chẳng hạn như mạng nơ-ron hồi tiếp.


Các xu hướng trong tương lai cho thấy chuẩn hóa theo lô có thể kết hợp với các phương pháp điều chỉnh mới nổi như chuẩn hóa theo lớp và chuẩn hóa theo nhóm để thích ứng tốt hơn với các kiến trúc mạng và yêu cầu nhiệm vụ khác nhau. Tóm lại, chuẩn hóa theo lô đã trở thành một phần không thể thiếu của học sâu hiện đại, cải thiện đáng kể hiệu quả đào tạo và hiệu suất của mô hình.