Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

BERT란 무엇인가

BERT(양방향 인코더 표현 변환기)는 2018년 구글에서 발표한 자연어 처리(NLP) 모델입니다. 이 모델은 언어의 맥락 관계를 더 잘 이해하기 위해 설계되었으며, 양방향 접근 방식을 통해 텍스트 내 단어 간의 상호 작용을 포착합니다.

BERT의 핵심 특징은 양방향성으로, 이는 단어의 왼쪽과 오른쪽 맥락을 동시에 고려할 수 있게 합니다. 이러한 포괄적인 이해는 BERT가 전통적인 단방향 모델보다 문장의 미세한 의미를 더 효과적으로 파악할 수 있게 합니다.

BERT는 학계와 산업계 모두에 큰 영향을 미치며, 질문 응답 시스템, 감정 분석 및 텍스트 분류와 같은 다양한 응용 프로그램의 정확성을 향상시켰습니다. 많은 검색 엔진과 챗봇이 BERT를 구현하여 자연어 이해 기능을 향상시키고 있습니다.

그러나 BERT는 높은 컴퓨팅 자원 요구와 느린 처리 속도와 같은 제한 사항이 있습니다. 또한 특정 도메인의 언어 이해를 위해서는 추가적인 미세 조정이 필요할 수 있습니다.