Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

유니버설 근사 정리란 무엇인가

유니버설 근사 정리(Universal Approximation Theorem, UA Theorem)는 신경망 및 함수 근사 이론에서 중요한 결과입니다. 이는 충분한 숨겨진 층을 가진 피드포워드 신경망이 모든 연속 함수를 근사할 수 있음을 나타냅니다.

이 정리는 1989년 George Cybenko에 의해 처음 제안되었으며, 이후 여러 차례 확장되었습니다. 핵심 아이디어는 신경망 구조가 복잡하더라도 충분히 많은 숨겨진 층을 갖춘 네트워크는 모든 연속 함수를 임의의 정밀도로 근사할 수 있다는 것입니다.

UA Theorem의 중요성은 깊이 있는 학습의 성공을 위한 이론적 근거를 제공한다는 점에 있습니다. 이는 신경망이 강력한 함수 근사 도구라는 것을 보여줍니다. 이러한 발견은 이미지 인식, 자연어 처리와 같은 분야에서 신경망의 광범위한 응용을 촉진했습니다.

이 정리는 일반적으로 단일 숨겨진 층을 가진 피드포워드 신경망에 적용됩니다. 적절한 활성화 함수(예: sigmoid 또는 ReLU)를 사용함으로써 네트워크는 입력과 출력 간의 복잡한 관계를 포착할 수 있습니다.

앞으로의 추세는 깊이 있는 학습 기술이 발전함에 따라 UA Theorem의 응용이 더 복잡한 모델과 알고리즘으로 확장될 것이라는 점입니다. 특히 생성적 적대 신경망(GAN) 및 강화 학습 프레임워크에서 그 가능성이 기대됩니다.

이 정리의 이론적 적용 가능성이 넓지만, 실제 구현에서는 과적합, 느린 수렴 속도와 같은 문제에 직면할 수 있습니다. 따라서 UA Theorem을 이해하는 것은 기계 학습 및 깊이 있는 학습 연구에 참여하는 사람들에게 중요합니다. 특히 신경망을 설계하고 최적화할 때 더욱 중요합니다.