Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

임베딩이란 무엇인가

임베딩은 자연어 처리(NLP) 및 기계 학습을 포함한 여러 분야에서 중요한 개념입니다. 이는 고차원 데이터를 저차원 공간으로 매핑하는 과정을 가리키며, 이로써 데이터는 더 쉽게 계산할 수 있게 됩니다.

NLP에서 단어 임베딩은 단어를 벡터로 변환하여 의미가 유사한 단어들이 벡터 공간에서 서로 가깝게 위치하도록 합니다. Word2Vec와 GloVe와 같은 기술이 널리 사용되고 있습니다. 이러한 방법은 모델이 단어 간의 관계 및 의미를 이해하는 데 도움을 주어, 텍스트 분류 및 기계 번역과 같은 작업을 향상시킵니다.

임베딩은 단어뿐만 아니라 이미지 및 사용자 행동과 같은 다른 데이터 유형에도 적용될 수 있습니다. 추천 시스템에서 사용자 및 항목 임베딩을 통해 모델은 사용자 선호에 맞춘 개인화된 추천을 제공합니다.

미래에는 임베딩 기술이 더 높은 차원의 표현으로 발전할 가능성이 있으며, 복잡한 신경망 구조와 결합되어 모델 성능을 더욱 향상시킬 것입니다. 임베딩의 해석 가능성도 연구의 초점이 될 것이며, 임베딩이 어떻게 작용하는지를 이해하는 것은 모델 개선과 투명성 향상에 매우 중요합니다.

임베딩의 장점으로는 데이터의 차원을 크게 줄이고 계산의 복잡성을 감소시키면서도 중요한 의미 정보를 유지할 수 있다는 점이 있습니다. 그러나 단점으로는 임베딩 훈련에 많은 데이터와 계산 자원이 필요하며, 데이터가 충분하지 않을 경우 임베딩의 질이 저하될 수 있습니다.

관련 주의 사항으로는 데이터 전처리 및 적절한 임베딩 방법 선택이 있습니다. 각기 다른 작업은 서로 다른 유형의 임베딩이 필요할 수 있으므로, 적용 시 평가 및 조정이 필요합니다.