TopAIToolsTopAITools

Glossary

0-9
2-stage detector9-layer network5G + AI0-shot learning6DoF pose estimation3D convolution8-bit quantization7D representation1-shot learning4D data
A
AlgorithmAutoencoderAGI / Artificial General IntelligenceAttentionArtificial Intelligence (AI)
B
BERTBatch NormalizationBackpropagationBiasBoosting
C
ChatbotClassifier / ClassificationCNN / Convolutional Neural NetworkCross-ValidationClustering
D
Deterministic ModelDiscriminative ModelDeepfakeData AugmentationDeep Learning
E
EpochEncoderEnsemble LearningEmbeddingExplainable AI (XAI)
F
Foundation ModelFeature ExtractionFusion / Multimodal FusionForward PropagationFine-tuning
G
GAN / Generative Adversarial NetworkGenerative AIGradient DescentGroundingGraph Neural Network (GNN)
H
HyperparameterHidden LayerHallucinationHeuristicHierarchical Model
I
Instance / SampleInstruction tuningIntelligence Amplification / AugmentationInterpretabilityImbalanced Data
J
JAXJoint EmbeddingJSONL / JSON-linesJuxtapositionJittering
K
Knowledge DistillationKL Divergence (Kullback–Leibler Divergence)K-means ClusteringK-Shot LearningKernel Trick
L
Large Language Model (LLM)Latent VariableLoss FunctionLearning RateLSTM / Long Short-Term Memory
M
ModelMachine Learning (ML)Meta-learningMulti-head AttentionMultimodal / Multimodality
N
Neural NetworkNovelty Detection / Anomaly DetectionNLP / Natural Language ProcessingNLU / Natural Language UnderstandingNormalization
O
OptimizerOnline LearningObjective FunctionOverfittingOne-hot Encoding
P
ParameterPromptPolicy / Reinforcement Learning PolicyPoolingPretraining
Q
QueryQuality EstimationQuantizationQ-learningQueue / Buffer
R
Representation LearningReinforcement Learning (RL)Retrieval Augmented Generation (RAG)RegularizationRNN / Recurrent Neural Network
S
Self-Supervised LearningSupervised LearningSamplingSequence ModelingSoftmax
T
TokenizerTransfer LearningTransformerTuning / Hyperparameter TuningTraining Data
U
Unsupervised LearningUncertainty EstimationUnderfittingUniversal Approximation TheoremU-Net
V
Variational Autoencoder (VAE)Vector EmbeddingValidation SetVanishing / Exploding GradientVision Transformer (ViT)
W
Weak SupervisionWeight DecayWhitening / Whitening TransformationWord EmbeddingWorkflow
X
X-axis / feature axisXOR problemXAI / Explainable AIXLMXLNet
Y
Y-axis / feature axisYield (model yield / throughput)Yoga of AIY-transform / YUVYAGNI (You Aren't Gonna Need It)
Z
Zero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZ-score NormalizationZygosity in augmentationZero-gradient phenomenon

Qu'est-ce que le Tuning / Tuning des Hyperparamètres ?

Le tuning des hyperparamètres est un processus crucial dans l'apprentissage automatique et l'apprentissage profond qui consiste à sélectionner les meilleurs hyperparamètres pour un modèle afin d'améliorer ses performances. Les hyperparamètres sont des paramètres définis avant l'entraînement du modèle et influencent la manière dont le modèle apprend et se comporte, contrairement aux paramètres du modèle tels que les poids. Le choix des hyperparamètres est vital dans le flux de travail de l'apprentissage automatique.


Le choix des hyperparamètres a un impact significatif sur les performances du modèle. Grâce à un tuning approprié, il est possible d'améliorer considérablement la capacité prédictive du modèle tout en minimisant les risques de surajustement ou de sous-ajustement. Un tuning efficace conduit à de meilleures performances sur les ensembles de validation, améliorant ainsi les résultats dans les applications réelles.


Les méthodes courantes de tuning des hyperparamètres incluent la recherche en grille (Grid Search), la recherche aléatoire (Random Search) et l'optimisation bayésienne (Bayesian Optimization). La recherche en grille évalue de manière exhaustive toutes les combinaisons possibles de paramètres pour trouver les meilleurs, tandis que la recherche aléatoire sélectionne aléatoirement des combinaisons de paramètres pour évaluation. L'optimisation bayésienne utilise un modèle probabiliste pour guider la sélection des hyperparamètres, trouvant généralement des solutions optimales plus rapidement.


Le tuning des hyperparamètres est indispensable dans des domaines tels que la classification d'images, le traitement du langage naturel et les systèmes de recommandation. Par exemple, lors de l'entraînement de réseaux de neurones convolutifs (CNN), des hyperparamètres tels que le taux d'apprentissage, la taille du lot et la profondeur du réseau doivent être soigneusement ajustés pour obtenir les meilleures performances.


Avec l'avancement de l'apprentissage automatique automatisé (AutoML) et de l'apprentissage profond, le tuning des hyperparamètres deviendra plus intelligent et automatisé. En utilisant des techniques avancées telles que les algorithmes évolutionnaires et l'apprentissage par renforcement, les processus de tuning futurs pourront trouver des combinaisons idéales de paramètres plus rapidement.


Bien que le tuning des hyperparamètres offre des avantages en termes de performances et de précision du modèle, le processus peut être très long et nécessiter beaucoup de ressources informatiques. Choisir les bonnes méthodes et outils de tuning peut aider à atténuer ces problèmes.


Lors de l'exécution du tuning des hyperparamètres, la division des données (comme les ensembles d'entraînement, de validation et de test) est très importante pour éviter les fuites de données et le surajustement. Les valeurs optimales des hyperparamètres peuvent varier d'un ensemble de données à l'autre et d'une tâche à l'autre, il est donc nécessaire de choisir avec soin.