Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

AGI / Artificial General Intelligence Algorithm Autoencoder Artificial Intelligence (AI)Attention

B

BERT Backpropagation Batch Normalization Boosting Bias

C

CNN / Convolutional Neural Network Clustering Cross-Validation Chatbot Classifier / Classification

D

Deepfake Deep Learning Data Augmentation Deterministic Model Discriminative Model

E

Epoch Ensemble Learning Encoder Explainable AI (XAI)Embedding

F

Fine-tuning Forward Propagation Fusion / Multimodal Fusion Foundation Model Feature Extraction

G

GAN / Generative Adversarial Network Grounding Graph Neural Network (GNN)Gradient Descent Generative AI

H

Hyperparameter Heuristic Hidden Layer Hierarchical Model Hallucination

I

Instruction tuning Instance / Sample Intelligence Amplification / Augmentation Interpretability Imbalanced Data

J

JAX JSONL / JSON-lines Jittering Joint Embedding Juxtaposition

K

K-Shot Learning K-means Clustering KL Divergence (Kullback–Leibler Divergence)Kernel Trick Knowledge Distillation

L

LSTM / Long Short-Term Memory Learning Rate Latent Variable Loss Function Large Language Model (LLM)

M

Multi-head Attention Multimodal / Multimodality Meta-learning Model Machine Learning (ML)

N

NLP / Natural Language Processing NLU / Natural Language Understanding Neural Network Novelty Detection / Anomaly Detection Normalization

O

One-hot Encoding Overfitting Optimizer Online Learning Objective Function

P

Pooling Parameter Pretraining Prompt Policy / Reinforcement Learning Policy

Q

Q-learning Queue / Buffer Query Quality Estimation Quantization

R

RNN / Recurrent Neural Network Retrieval Augmented Generation (RAG)Reinforcement Learning (RL)Regularization Representation Learning

S

Softmax Sampling Sequence Modeling Supervised Learning Self-Supervised Learning

T

Tuning / Hyperparameter Tuning Tokenizer Transformer Training Data Transfer Learning

U

U-Net Underfitting Universal Approximation Theorem Unsupervised Learning Uncertainty Estimation

V

Vision Transformer (ViT)Vector Embedding Validation Set Vanishing / Exploding Gradient Variational Autoencoder (VAE)

W

Weight Decay Whitening / Whitening Transformation Workflow Word Embedding Weak Supervision

X

XAI / Explainable AI XLM XLNet XOR problem X-axis / feature axis

Y

Yoga of AI Y-transform / YUV YAGNI (You Aren't Gonna Need It)Y-axis / feature axis Yield (model yield / throughput)

Z

Z-score Normalization Zero-shot Learning / Zero-shot inference Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zygosity in augmentation

正則化とは

正則化は、統計モデリングや機械学習において過学習を防ぐために使用される技術です。過学習とは、モデルがトレーニングデータでうまく機能する一方で、新しいデータに一般化できず、予測が不正確になる現象を指します。追加の制約やペナルティ項を導入することにより、正則化はモデルを単純化し、未見のデータに対するパフォーマンスを向上させるのに役立ちます。

一方、正則化は複雑なモデルの影響を抑えるためにペナルティ項（L1またはL2ノルムなど）を追加し、モデルがより単純な構造を学ぶことを促します。これは通常、モデルの一般化能力を高めるのに寄与します。一般的な正則化手法には、リッジ回帰（L2正則化）やラッソ回帰（L1正則化）があります。これらの手法は、画像認識や自然言語処理などのさまざまな実用アプリケーションで優れたパフォーマンスを示しています。

一方で、正則化はモデルの安定性と予測能力を向上させるのに役立ちますが、小さなデータセットでは情報の損失を引き起こす可能性があります。また、適切な正則化パラメータを選択することも課題であり、過度な正則化は過少学習を引き起こす可能性があります。

将来的には、データセットが引き続き拡大し、計算能力が向上するにつれて、正則化技術も進化し続けます。たとえば、ドロップアウトやバッチ正則化などの新しい正則化手法は徐々に広く受け入れられ、深層学習における重要性を示しています。全体として、正則化は効率的で堅牢なモデルを構築するための重要な手法であり、機械学習の進展に伴いその重要性はますます高まるでしょう。