Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

하이퍼파라미터란?

하이퍼파라미터는 머신러닝 및 딥러닝에서 중요한 개념입니다. 이는 모델 훈련 이전에 설정되는 매개변수로서, 훈련 데이터에서 학습되는 것이 아니라 수동으로 설정해야 하는 매개변수입니다. 하이퍼파라미터의 선택은 모델의 성능과 결과에 직접적인 영향을 미치므로, 신중한 선택이 필수적입니다.

일반적인 하이퍼파라미터의 종류에는 학습률, 배치 크기, 정규화 매개변수, 네트워크 구조의 깊이 및 너비 등이 있습니다. 적절한 하이퍼파라미터를 선택하면 모델이 데이터 특징을 더 잘 학습할 수 있어, 새로운 데이터에서의 일반화 능력을 향상시킬 수 있습니다. 하이퍼파라미터 선택 과정은 일반적으로 교차 검증과 같은 기술을 포함하여, 선택한 매개변수가 모델 성능을 효과적으로 향상시킬 수 있도록 합니다.

그러나 하이퍼파라미터 설정 과정은 도전적인 과제가 될 수 있으며, 일반적으로 경험과 많은 실험이 필요합니다. 최근에는 베이지안 최적화와 같은 자동화된 하이퍼파라미터 최적화 기술이 등장하여 수동 조정에 필요한 시간과 노력을 줄이고자 하고 있습니다. 이러한 방법들은 하이퍼파라미터 공간을 지능적으로 탐색하여 최적의 조합을 찾는 데 도움을 줍니다.

미래에는 머신러닝 기술의 지속적인 발전과 함께 하이퍼파라미터 최적화 방법이 더욱 지능화되고 자동화될 것으로 예상되며, 완전 자동화된 모델 훈련 과정이 실현될 수 있을 것입니다.