TopAIToolsTopAITools

Glossary

0-9
2-stage detector9-layer network5G + AI0-shot learning6DoF pose estimation3D convolution8-bit quantization7D representation1-shot learning4D data
A
AlgorithmAutoencoderAGI / Artificial General IntelligenceAttentionArtificial Intelligence (AI)
B
BERTBatch NormalizationBackpropagationBiasBoosting
C
ChatbotClassifier / ClassificationCNN / Convolutional Neural NetworkCross-ValidationClustering
D
Deterministic ModelDiscriminative ModelDeepfakeData AugmentationDeep Learning
E
EpochEncoderEnsemble LearningEmbeddingExplainable AI (XAI)
F
Foundation ModelFeature ExtractionFusion / Multimodal FusionForward PropagationFine-tuning
G
GAN / Generative Adversarial NetworkGenerative AIGradient DescentGroundingGraph Neural Network (GNN)
H
HyperparameterHidden LayerHallucinationHeuristicHierarchical Model
I
Instance / SampleInstruction tuningIntelligence Amplification / AugmentationInterpretabilityImbalanced Data
J
JAXJoint EmbeddingJSONL / JSON-linesJuxtapositionJittering
K
Knowledge DistillationKL Divergence (Kullback–Leibler Divergence)K-means ClusteringK-Shot LearningKernel Trick
L
Large Language Model (LLM)Latent VariableLoss FunctionLearning RateLSTM / Long Short-Term Memory
M
ModelMachine Learning (ML)Meta-learningMulti-head AttentionMultimodal / Multimodality
N
Neural NetworkNovelty Detection / Anomaly DetectionNLP / Natural Language ProcessingNLU / Natural Language UnderstandingNormalization
O
OptimizerOnline LearningObjective FunctionOverfittingOne-hot Encoding
P
ParameterPromptPolicy / Reinforcement Learning PolicyPoolingPretraining
Q
QueryQuality EstimationQuantizationQ-learningQueue / Buffer
R
Representation LearningReinforcement Learning (RL)Retrieval Augmented Generation (RAG)RegularizationRNN / Recurrent Neural Network
S
Self-Supervised LearningSupervised LearningSamplingSequence ModelingSoftmax
T
TokenizerTransfer LearningTransformerTuning / Hyperparameter TuningTraining Data
U
Unsupervised LearningUncertainty EstimationUnderfittingUniversal Approximation TheoremU-Net
V
Variational Autoencoder (VAE)Vector EmbeddingValidation SetVanishing / Exploding GradientVision Transformer (ViT)
W
Weak SupervisionWeight DecayWhitening / Whitening TransformationWord EmbeddingWorkflow
X
X-axis / feature axisXOR problemXAI / Explainable AIXLMXLNet
Y
Y-axis / feature axisYield (model yield / throughput)Yoga of AIY-transform / YUVYAGNI (You Aren't Gonna Need It)
Z
Zero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZ-score NormalizationZygosity in augmentationZero-gradient phenomenon

Qu'est-ce que l'Apprentissage Auto-Supervisé ?

L'Apprentissage Auto-Supervisé est une approche d'apprentissage automatique visant à entraîner des modèles en utilisant des données non étiquetées pour générer des représentations de caractéristiques utiles. Cette méthode a gagné une attention significative ces dernières années, en particulier dans les tâches de traitement d'images et de langage naturel.


Le contexte de l'apprentissage auto-supervisé découle des limitations de l'apprentissage supervisé, qui nécessite une grande quantité de données étiquetées souvent difficiles à obtenir dans les applications pratiques. En tirant parti de l'apprentissage auto-supervisé, les modèles peuvent extraire des informations à partir de données non étiquetées, construisant ainsi des représentations de caractéristiques.


En termes de fonctionnement, l'apprentissage auto-supervisé implique généralement la mise en place de tâches prédictives au cours de l'entraînement. Par exemple, en traitement d'images, un modèle peut avoir besoin de prédire des parties d'une image ou de reconstruire des images cachées. Dans le domaine du traitement du langage naturel, des modèles comme BERT utilisent la modélisation de langage masqué pour l'entraînement auto-supervisé, améliorant ainsi la performance dans les tâches en aval.


Les avantages de l'apprentissage auto-supervisé comprennent l'utilisation efficace de grandes quantités de données non étiquetées et l'amélioration de la performance du modèle. Cependant, un inconvénient est que les modèles peuvent apprendre des bruits inutiles, dégradant potentiellement la performance. De plus, bien qu'il présente de vastes perspectives d'application théoriques, la conception et le processus d'entraînement du modèle doivent être traités avec prudence dans la pratique.


A l'avenir, l'apprentissage auto-supervisé a le potentiel d'être appliqué dans davantage de domaines, en particulier dans des situations de pénurie de données. Il pourrait servir de pont entre l'apprentissage non supervisé et supervisé, stimulant les avancées dans les technologies d'intelligence artificielle.