Glossary

0-9

2-stage detector 9-layer network 5G + AI 0-shot learning 6DoF pose estimation 3D convolution 8-bit quantization 7D representation 1-shot learning 4D data

A

Algorithm Autoencoder AGI / Artificial General Intelligence Attention Artificial Intelligence (AI)

B

BERT Batch Normalization Backpropagation Bias Boosting

C

Chatbot Classifier / Classification CNN / Convolutional Neural Network Cross-Validation Clustering

D

Deterministic Model Discriminative Model Deepfake Data Augmentation Deep Learning

E

Epoch Encoder Ensemble Learning Embedding Explainable AI (XAI)

F

Foundation Model Feature Extraction Fusion / Multimodal Fusion Forward Propagation Fine-tuning

G

GAN / Generative Adversarial Network Generative AI Gradient Descent Grounding Graph Neural Network (GNN)

H

Hyperparameter Hidden Layer Hallucination Heuristic Hierarchical Model

I

Instance / Sample Instruction tuning Intelligence Amplification / Augmentation Interpretability Imbalanced Data

J

JAX Joint Embedding JSONL / JSON-lines Juxtaposition Jittering

K

Knowledge Distillation KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick

L

Large Language Model (LLM)Latent Variable Loss Function Learning Rate LSTM / Long Short-Term Memory

M

Model Machine Learning (ML)Meta-learning Multi-head Attention Multimodal / Multimodality

N

Neural Network Novelty Detection / Anomaly Detection NLP / Natural Language Processing NLU / Natural Language Understanding Normalization

O

Optimizer Online Learning Objective Function Overfitting One-hot Encoding

P

Parameter Prompt Policy / Reinforcement Learning Policy Pooling Pretraining

Q

Query Quality Estimation Quantization Q-learning Queue / Buffer

R

Representation Learning Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization RNN / Recurrent Neural Network

S

Self-Supervised Learning Supervised Learning Sampling Sequence Modeling Softmax

T

Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning Training Data

U

Unsupervised Learning Uncertainty Estimation Underfitting Universal Approximation Theorem U-Net

V

Variational Autoencoder (VAE)Vector Embedding Validation Set Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

X-axis / feature axis XOR problem XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Yield (model yield / throughput)Yoga of AI Y-transform / YUV YAGNI (You Aren't Gonna Need It)

Z

Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Z-score Normalization Zygosity in augmentation Zero-gradient phenomenon

Qu'est-ce que l'Attention

L'attention se réfère au processus cognitif de concentration sélective sur des stimuli spécifiques tout en ignorant d'autres. Elle joue un rôle crucial dans divers domaines tels que la psychologie, l'éducation et le marketing. Comprendre les mécanismes de l'attention est essentiel pour améliorer les résultats d'apprentissage et renforcer la communication.

En psychologie, l'attention peut être catégorisée en attention sélective, attention soutenue et attention divisée. L'attention sélective permet aux individus de se concentrer sur certaines informations tout en négligeant les distractions. L'attention soutenue implique de maintenir la concentration sur une longue période, tandis que l'attention divisée permet de gérer plusieurs sources d'informations en même temps.

Dans le domaine de la technologie, notamment en intelligence artificielle, des mécanismes d'attention ont été développés pour améliorer la performance des modèles dans des domaines tels que le traitement du langage naturel et la vision par ordinateur. Ces mécanismes permettent aux modèles de se concentrer sur les parties importantes des données d'entrée, augmentant ainsi la précision et l'efficacité.

Le futur de la recherche sur l'attention est prometteur, avec des avancées potentielles dans la création de systèmes intelligents capables d'ajuster automatiquement la répartition de l'attention en fonction des exigences environnementales. De plus, son application dans le domaine de la santé mentale pourrait offrir des perspectives précieuses pour la gestion de l'anxiété et des troubles de l'attention.

Cependant, une concentration excessive peut entraîner de la fatigue et des problèmes psychologiques, soulignant la nécessité d'une approche équilibrée dans la conception et l'application.