Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

정규화란 무엇인가

정규화는 통계 모델링과 머신러닝에서 과적합을 방지하기 위해 사용되는 기술입니다. 과적합은 모델이 훈련 데이터에서 잘 작동하지만 새로운 데이터에 일반화되지 않아 예측이 부정확하게 되는 상황을 말합니다. 추가 제약 조건이나 패널티 항을 도입함으로써 정규화는 모델을 단순화하고 보지 못한 데이터에서의 성능을 향상시키는 데 도움을 줍니다.

한편, 정규화는 복잡한 모델의 영향을 억제하기 위해 패널티 항(예: L1 또는 L2 노름)을 추가하여 모델이 더 간단한 구조를 학습하도록 유도합니다. 이는 일반적으로 모델의 일반화 능력을 높이는 데 기여합니다. 일반적인 정규화 방법으로는 리지 회귀(L2 정규화)와 라쏘 회귀(L1 정규화)가 있습니다. 이러한 방법은 이미지 인식 및 자연어 처리와 같은 다양한 실제 응용 프로그램에서 뛰어난 성능을 보여주었습니다.

반면, 정규화는 모델의 안정성과 예측 능력을 향상시키는 데 도움을 주지만, 작은 데이터 세트에서는 정보 손실을 초래할 수 있습니다. 또한 적절한 정규화 매개변수를 선택하는 것도 도전 과제가 될 수 있으며, 과도한 정규화는 과소적합을 초래할 수 있습니다.

미래에는 데이터 세트가 계속 확장되고 계산 능력이 향상됨에 따라 정규화 기술도 지속적으로 발전할 것입니다. 예를 들어, 드롭아웃 및 배치 정규화와 같은 새로운 정규화 방법은 점차 널리 채택되고 있으며, 심층 학습에서의 중요성을 보여주고 있습니다. 전반적으로 정규화는 효율적이고 강력한 모델을 구축하는 데 중요한 방법이며, 머신러닝의 지속적인 발전에 따라 그 중요성이 더욱 부각될 것입니다.