Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

배치 정규화란 무엇인가

배치 정규화는 훈련 속도와 안정성을 향상시키기 위해 깊은 학습 모델 훈련에서 중요한 기술입니다.

핵심 아이디어는 각 레이어의 입력을 표준화하여 각 미니 배치 데이터에서 평균과 분산을 작게 유지하는 것입니다. 이 방법은 내부 공변량 이동을 효과적으로 줄여 더 높은 학습률을 허용하고 수렴 속도를 높입니다.

배치 정규화의 중요성은 여러 측면에서 나타납니다. 첫째, 신경망 훈련을 가속화할 수 있습니다. 표준화된 데이터는 학습 과정을 더 매끄럽게 만듭니다. 둘째, 모델의 일반화 능력을 향상시켜 과적합의 위험을 줄입니다. 또한 경우에 따라 배치 정규화는 Dropout과 같은 다른 정규화 기술에 대한 의존도를 줄이는 정규화 효과를 제공할 수 있습니다.

운영 메커니즘은 현재 배치의 평균과 분산을 계산하고 이러한 통계량을 사용하여 입력을 표준화하는 것입니다. 그런 다음 학습 가능한 스케일 및 편향 매개변수를 통해 표준화된 데이터를 조정합니다. 이 프로세스는 각 훈련 단계에서 업데이트되어 모델이 훈련 동안 적응적으로 조정할 수 있도록 합니다.

그러나 배치 정규화는 단점이 없는 것은 아닙니다. 특정 상황, 특히 작은 배치 크기에서는 평균과 분산의 추정이 불안정할 수 있습니다. 또한 배치 정규화는 순환 신경망과 같은 특정 네트워크 아키텍처에서 성능이 좋지 않을 수 있습니다.

미래의 추세는 배치 정규화가 레이어 정규화 및 그룹 정규화와 같은 새로운 정규화 방법과 통합될 수 있음을 보여줍니다. 이는 다양한 네트워크 아키텍처 및 작업 요구 사항에 더 잘 적응할 수 있습니다. 전반적으로 배치 정규화는 현대 깊은 학습에서 필수적인 부분이 되어 모델의 훈련 효율성 및 성능을 크게 향상시킵니다.