Glossary

0-9

2-stage detector 9-layer network 5G + AI 0-shot learning 6DoF pose estimation 3D convolution 8-bit quantization 7D representation 1-shot learning 4D data

A

Algorithm Autoencoder AGI / Artificial General Intelligence Attention Artificial Intelligence (AI)

B

BERT Batch Normalization Backpropagation Bias Boosting

C

Chatbot Classifier / Classification CNN / Convolutional Neural Network Cross-Validation Clustering

D

Deterministic Model Discriminative Model Deepfake Data Augmentation Deep Learning

E

Epoch Encoder Ensemble Learning Embedding Explainable AI (XAI)

F

Foundation Model Feature Extraction Fusion / Multimodal Fusion Forward Propagation Fine-tuning

G

GAN / Generative Adversarial Network Generative AI Gradient Descent Grounding Graph Neural Network (GNN)

H

Hyperparameter Hidden Layer Hallucination Heuristic Hierarchical Model

I

Instance / Sample Instruction tuning Intelligence Amplification / Augmentation Interpretability Imbalanced Data

J

JAX Joint Embedding JSONL / JSON-lines Juxtaposition Jittering

K

Knowledge Distillation KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick

L

Large Language Model (LLM)Latent Variable Loss Function Learning Rate LSTM / Long Short-Term Memory

M

Model Machine Learning (ML)Meta-learning Multi-head Attention Multimodal / Multimodality

N

Neural Network Novelty Detection / Anomaly Detection NLP / Natural Language Processing NLU / Natural Language Understanding Normalization

O

Optimizer Online Learning Objective Function Overfitting One-hot Encoding

P

Parameter Prompt Policy / Reinforcement Learning Policy Pooling Pretraining

Q

Query Quality Estimation Quantization Q-learning Queue / Buffer

R

Representation Learning Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization RNN / Recurrent Neural Network

S

Self-Supervised Learning Supervised Learning Sampling Sequence Modeling Softmax

T

Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning Training Data

U

Unsupervised Learning Uncertainty Estimation Underfitting Universal Approximation Theorem U-Net

V

Variational Autoencoder (VAE)Vector Embedding Validation Set Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

X-axis / feature axis XOR problem XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Yield (model yield / throughput)Yoga of AI Y-transform / YUV YAGNI (You Aren't Gonna Need It)

Z

Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Z-score Normalization Zygosity in augmentation Zero-gradient phenomenon

Qu'est-ce qu'un Hyperparamètre

Un hyperparamètre est un concept crucial dans l'apprentissage automatique et l'apprentissage profond. Il se réfère aux paramètres qui sont définis avant le processus d'entraînement du modèle et qui ne sont pas appris à partir des données d'entraînement. Au lieu de cela, ces paramètres doivent être spécifiés manuellement. Le choix des hyperparamètres affecte directement la performance et les résultats du modèle, rendant une sélection soigneuse essentielle.

Les types courants d'hyperparamètres incluent le taux d'apprentissage, la taille des lots, les paramètres de régularisation et la profondeur et la largeur de la structure du réseau. Choisir les bons hyperparamètres peut aider le modèle à mieux apprendre les caractéristiques des données, améliorant ainsi sa capacité de généralisation sur de nouvelles données. Le processus de sélection des hyperparamètres implique souvent des techniques telles que la validation croisée pour s'assurer que les paramètres choisis améliorent effectivement la performance du modèle.

Cependant, le processus de configuration des hyperparamètres peut être un défi et nécessite généralement de l'expérience et de nombreuses expérimentations. Ces dernières années, des techniques d'optimisation automatique des hyperparamètres, telles que l'optimisation bayésienne, ont émergé pour réduire le temps et les efforts nécessaires à l'ajustement manuel. Ces méthodes recherchent intelligemment dans l'espace des hyperparamètres pour trouver des combinaisons optimales.

À l'avenir, à mesure que les technologies d'apprentissage automatique continuent de progresser, il est prévu que les méthodes d'optimisation des hyperparamètres deviennent plus intelligentes et automatisées, ce qui pourrait mener à un processus d'entraînement de modèle entièrement automatisé.