Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

제로 중심/제로 편향 초기화란?

제로 중심 또는 제로 편향 초기화는 머신러닝 및 딥러닝 분야에서 모델의 초기 가중치 또는 매개변수를 제로로 설정하기 위해 널리 사용되는 기술입니다. 이 방법은 훈련 초기에 편향을 피하여 모델의 수렴 속도와 전체 성능을 향상시키는 것을 목표로 합니다.

딥러닝에서 네트워크의 가중치 초기화는 최종 모델의 성능에 깊은 영향을 미칩니다. 가중치를 제로로 초기화함으로써, 모델은 초기 가중치의 무작위성으로 인한 불안정성 없이 데이터 구조를 더 잘 학습할 수 있습니다. 이 방법의 핵심은 훈련 초기 단계에서 중복 정보를 줄이는 것이며, 이는 모델이 최적의 솔루션을 빠르게 찾는 데 도움을 줍니다.

그러나 제로 초기화는 단점도 있습니다. 주요 문제는 모든 가중치가 제로로 초기화될 때, 어떤 층의 뉴런도 순전파 과정에서 동일한 출력을 생성한다는 것입니다. 이는 경량 하강 과정에서 가중치를 효과적으로 업데이트하는 데 방해가 되어 모델이 학습하지 못하게 할 수 있습니다. 따라서 특정 경우에는 Xavier 초기화나 He 초기화와 같은 다른 초기화 전략을 사용하는 것이 좋습니다.