Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

워드 임베딩이란?

워드 임베딩은 단어를 자연어 처리(NLP) 작업을 위한 벡터로 변환하는 기술입니다. 단어를 연속적인 벡터 공간에 매핑함으로써, 워드 임베딩은 기계가 언어의 의미 관계를 이해하고 처리할 수 있도록 합니다.

워드 임베딩의 핵심은 Word2Vec, GloVe 및 FastText와 같은 알고리즘에 있습니다. 이러한 알고리즘은 방대한 양의 텍스트 데이터를 분석하여 단어가 서로 다른 맥락에서 어떻게 사용되는지를 학습하고, 이를 통해 단어를 벡터 표현으로 변환합니다. 일반적인 사례는 '왕'과 '여왕'의 벡터가 '남자'와 '여자'의 벡터 관계와 유사하다는 것입니다.

워드 임베딩의 장점은 대량의 텍스트 데이터를 처리할 수 있고, 더 나은 의미 이해를 제공하며, 다양한 머신 러닝 모델에 적용할 수 있다는 것입니다. 그러나 저빈도 단어에 대한 처리 미흡 및 편향을 초래할 수 있는 단점도 있습니다. 워드 임베딩을 사용할 때 이러한 문제를 해결하기 위해 세심한 주의가 필요합니다.

미래에는 딥 러닝 기술의 발전과 함께 워드 임베딩이 Transformers와 같은 더 복잡한 모델과 결합하여 언어 이해의 정확성과 유연성을 향상시킬 수 있을 것입니다.