Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

소실/폭주 기울기란 무엇인가

소실 기울기와 폭주 기울기는 딥 러닝 및 신경망 훈련에서 매우 중요한 개념입니다.

소실 기울기는 역전파 과정에서 기울기가 너무 작아져 결국 가중치가 거의 업데이트되지 않는 상황을 의미합니다. 이 현상은 시그모이드 또는 하이퍼볼릭 탄젠트 활성화 함수를 사용하는 깊은 네트워크에서 흔히 발생하며, 학습 속도를 느리게 하거나 정체됩니다.

반면, 폭주 기울기는 역전파 중 기울기가 지나치게 커져 가중치 업데이트가 불안정해지고 모델이 수렴하지 않는 경우를 의미합니다. 이는 주로 ReLU 활성화 함수를 사용하는 다층 네트워크에서 발생합니다.

이 두 현상은 딥 러닝 모델의 훈련 효율성과 효과에 중대한 영향을 미칩니다. 연구자들은 소실 기울기의 영향을 완화하기 위해 LSTM과 같은 다양한 아키텍처를 제안하고, 폭주 기울기를 처리하기 위해 기울기 클리핑과 같은 기술을 채택했습니다.

딥 러닝이 발전함에 따라 이러한 문제를 해결하는 것이 점점 더 중요해지고 있으며, 기울기 안정성을 유지하기 위해 새로운 활성화 함수와 네트워크 설계가 등장하고 있습니다.