Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

멀티 헤드 어텐션이란?

멀티 헤드 어텐션은 딥 러닝, 특히 자연어 처리(NLP)와 컴퓨터 비전(CV)에서 널리 사용되는 메커니즘입니다. 이는 처음에 Transformer 모델에서 제안되어 시퀀스-투-시퀀스 학습 작업을 혁신했습니다. 멀티 헤드 어텐션의 핵심 아이디어는 입력 기능 벡터를 여러 하위 공간으로 나누고 여러 '헤드'를 통해 병렬 처리하여 입력 데이터 내의 다양한 기능과 관계를 포착하는 것입니다.

멀티 헤드 어텐션의 작동 방식은 먼저 입력 데이터를 선형 변환하여 여러 그룹으로 나눈 후 각 그룹이 독립적으로 주의 가중치를 계산하고 출력을 생성합니다. 마지막으로 이러한 출력은 연결되고 다시 선형 변환을 통해 병합됩니다. 이 메커니즘은 모델의 표현력과 효율성을 향상시킵니다.

응용 시나리오에서 멀티 헤드 어텐션은 기계 번역, 텍스트 생성 및 이미지 인식과 같은 작업에 사용됩니다. 유연성과 효율성 덕분에 이는 많은 현대 딥 러닝 모델의 핵심 구성 요소가 되었습니다. 앞으로 계산 자원이 증가하고 모델 구조가 지속적으로 발전함에 따라 멀티 헤드 어텐션은 더 많은 분야에서 활용될 것으로 기대됩니다.

그러나 긴 시퀀스를 처리할 때 계산 오버헤드가 커져 성능 저하를 초래할 수 있는 등 몇 가지 단점이 있습니다. 따라서 모델 설계 시 이러한 요소를 고려해야 합니다.