Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

토크나이저란?

Tokenizer - AI and technology concept illustration

© 2025 / unsplash.com

토크나이저는 자연어 처리(NLP) 및 프로그래밍 언어 구문 분석에서 중요한 구성 요소입니다. 입력 텍스트를 단어, 서브워드 또는 기호와 같은 더 작은 단위로 분해하여 추가 처리를 수행하는 역할을 합니다.

토큰화는 텍스트 처리의 첫 번째 단계이며, 다양한 알고리즘 및 모델의 기초를 제공합니다. 특히 기계 학습 및 딥 러닝 모델에서 중요합니다. 언어와 응용 프로그램에 따라 다양한 유형의 토크나이저가 필요합니다. 예를 들어, 공백 기반 토크나이저는 영어에 적합하고, 문자 기반 토크나이저는 중국어 처리에 더 효과적입니다.

토크나이제이션의 중요성은 텍스트 데이터 분석 및 처리에 구조화된 정보를 제공하는 데 있습니다. 텍스트를 토큰으로 분해함으로써 알고리즘은 패턴을 더 쉽게 식별하고 특징을 추출하며 예측을 생성할 수 있습니다. 따라서 적절한 토크나이저를 선택하는 것은 모델 성능을 보장하는 데 매우 중요합니다.

인공지능과 기계 학습이 발전함에 따라 토크나이제이션 방법도 진화하고 있습니다. 많은 현대 모델은 Byte Pair Encoding(BPE) 또는 WordPiece와 같은 서브워드 기반 토크나이제이션 기술을 사용하여 희귀 단어 및 신조어 문제를 효과적으로 해결하며, 모델의 일반화 능력을 향상시킵니다.