Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

경사 하강법이란 무엇인가

경사 하강법은 머신러닝과 통계학에서 널리 사용되는 최적화 알고리즘으로, 주요 목적은 비용 함수 또는 손실 함수를 반복적으로 최소화하는 것입니다.

경사 하강법의 핵심 아이디어는 현재 지점의 기울기를 계산하여 가장 가파른 하강 방향을 나타내는 것입니다. 이 방향으로 매개변수를 업데이트함으로써 알고리즘은 점진적으로 최적 해에 접근합니다.

일반적으로 경사 하강법은 딥러닝, 선형 회귀 및 로지스틱 회귀와 같은 다양한 애플리케이션에 사용됩니다. 빅 데이터와 계산 능력의 발전에 따라, 확률적 경사 하강법, 미니배치 경사 하강법 및 모멘텀과 같은 경사 하강법의 변형이 제안되어 효율성과 수렴 속도를 개선하고 있습니다.

앞으로 경사 하강법은 더 복잡한 문제를 해결하기 위해 다른 최적화 기술과 통합하여 계속 발전할 가능성이 높습니다. 그러나 효과적이긴 하지만, 지역 최적값에 갇히거나 학습률에 민감하다는 단점이 있으므로, 적용할 때 주의 깊은 조정과 선택이 필요합니다.