Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

LSTM / 장단기 기억이란 무엇인가

LSTM(장단기 기억 네트워크)은 데이터 시퀀스를 처리하고 예측하기 위해 설계된 특별한 순환 신경망(RNN)입니다. 1997년 Hochreiter와 Schmidhuber에 의해 소개되었으며, 긴 시퀀스를 다룰 때 전통적인 RNN에서 발생하는 기울기 소실 및 폭주 문제를 해결하는 데 도움을 줍니다. LSTM의 구조는 긴 시간 간격 동안 정보를 유지할 수 있게 해주어 시계열, 자연어 처리 및 음성 인식 등의 작업에 적합합니다.

LSTM의 핵심은 입력 게이트, 망각 게이트 및 출력 게이트가 포함된 독특한 셀 구조에 있습니다. 이러한 게이팅 메커니즘은 LSTM이 언제 정보를 유지, 업데이트 또는 삭제해야 할지를 결정하는 데 도움을 줍니다. 이러한 작동 메커니즘 덕분에 LSTM은 텍스트 생성 및 기계 번역과 같은 장기 기억이 필요한 작업에서 뛰어난 성능을 발휘합니다.

실제 응용 분야에서 LSTM은 금융 데이터 예측, 기후 모델링, 음성 인식 및 비디오 분석 등 다양한 분야에서 널리 사용되고 있습니다. 그러나 복잡한 구조와 높은 계산 요구 사항은 주요 단점 중 하나입니다.

앞으로 심층 학습 기술이 지속적으로 발전함에 따라 LSTM은 효율성과 효과를 더욱 향상시키기 위해 Transformer 모델과 같은 다른 신기술과 결합될 가능성이 큽니다. 그러므로 LSTM의 작동 원리와 현대 심층 학습에서의 응용에 대한 이해는 매우 중요합니다.