Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

Vision Transformer (ViT)란 무엇인가

Vision Transformer (ViT)는 2020년 Google Research에서 제안한 혁신적인 모델로, Transformer 아키텍처를 컴퓨터 비전 작업, 특히 이미지 분류에 적용합니다. 전통적인 합성곱 신경망(CNN)은 이미지 처리에서 좋은 성능을 보였지만, ViT는 특정 작업에서 뛰어난 성능을 보여줍니다.

ViT의 핵심 메커니즘은 이미지를 고정 크기의 패치로 나누고, 이러한 패치를 선형화하여 Transformer에 입력하는 것입니다. CNN과 달리 ViT는 합성곱 계층에 의존하지 않고 여러 개의 자기 주의 계층을 사용하여 특징을 추출함으로써 장기 의존성을 효과적으로 포착합니다.

ViT는 몇 가지 단점도 가지고 있습니다. 일반적으로 대량의 데이터와 상당한 계산 리소스가 필요하며, 작은 데이터셋에서는 훈련 과정이 느릴 수 있습니다. 그러나 ViT는 전이 학습 시나리오에서 유망한 결과를 보여주고 있습니다.

앞으로 ViT는 복잡한 맥락 이해가 필요한 시나리오에서 더 넓은 범위의 비주얼 작업에 적용될 가능성이 높습니다. 하드웨어와 알고리즘의 지속적인 발전에 따라 ViT의 가용성과 효율성이 더욱 향상될 수 있습니다.