Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

기초 모델이란 무엇인가

‘기초 모델’이라는 용어는 다양한 데이터 세트에서 사전 훈련된 대규모 모델을 의미하며, 특정 작업에 맞게 미세 조정될 수 있습니다. 이 아키텍처는 모델이 복잡한 패턴과 구조를 포착할 수 있게 하여 여러 하위 작업에서 뛰어난 성능을 발휘하게 합니다.

기초 모델의 중요성은 방대한 양의 레이블 데이터에 대한 필요성을 크게 줄인다는 점입니다. 대규모 비지도 데이터에서 학습함으로써 이러한 모델은 다양한 작업에 적용할 수 있는 지식을 일반화할 수 있습니다. 이는 AI 시스템의 개발 및 배포 속도를 크게 가속화합니다.

기초 모델은 일반적으로 딥 러닝 기술, 특히 변환기 아키텍처를 사용합니다. 이들의 훈련 과정은 자기 감독 학습을 포함하며, 모델은 텍스트의 일부를 예측함으로써 데이터의 구조와 의미를 학습합니다. 주목할 만한 예로는 OpenAI의 GPT 시리즈, Google의 BERT, Facebook의 RoBERTa가 있습니다. 이러한 모델은 기초 모델의 강력한 능력을 보여줍니다.

기초 모델의 미래는 더욱 효율적이고 해석 가능한 방향으로 진화할 것으로 보입니다. 그러나 이러한 모델은 잠재적인 사회적 해를 초래하지 않도록 윤리 및 안전에 대한 더 엄격한 검토를 받을 가능성이 있습니다. 개발자는 또한 이러한 모델의 해석 가능성과 공정성에 주의를 기울여야 하며, 편견이 지속되지 않도록 해야 합니다.