Glossary

0-9

1-shot learning 5G + AI 7D representation 0-shot learning 3D convolution 4D data 2-stage detector 6DoF pose estimation 8-bit quantization 9-layer network

A

AGI / Artificial General Intelligence Algorithm Attention Autoencoder Artificial Intelligence (AI)

B

Backpropagation BERT Bias Boosting Batch Normalization

C

Chatbot Classifier / Classification Clustering CNN / Convolutional Neural Network Cross-Validation

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Ensemble Learning Embedding Encoder Epoch Explainable AI (XAI)

F

Feature Extraction Fine-tuning Fusion / Multimodal Fusion Foundation Model Forward Propagation

G

Gradient Descent GAN / Generative Adversarial Network Grounding Generative AI Graph Neural Network (GNN)

H

Hidden Layer Hallucination Heuristic Hyperparameter Hierarchical Model

I

Intelligence Amplification / Augmentation Imbalanced Data Instance / Sample Instruction tuning Interpretability

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

Knowledge Distillation KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Kernel Trick

L

Loss Function LSTM / Long Short-Term Memory Learning Rate Large Language Model (LLM)Latent Variable

M

Machine Learning (ML)Meta-learning Model Multi-head Attention Multimodal / Multimodality

N

Novelty Detection / Anomaly Detection NLP / Natural Language Processing NLU / Natural Language Understanding Normalization Neural Network

O

Online Learning Objective Function One-hot Encoding Optimizer Overfitting

P

Parameter Policy / Reinforcement Learning Policy Pooling Pretraining Prompt

Q

Quality Estimation Queue / Buffer Q-learning Quantization Query

R

Representation Learning Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization RNN / Recurrent Neural Network

S

Sampling Self-Supervised Learning Supervised Learning Sequence Modeling Softmax

T

Training Data Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning

U

Unsupervised Learning Uncertainty Estimation Universal Approximation Theorem U-Net Underfitting

V

Vector Embedding Vanishing / Exploding Gradient Validation Set Variational Autoencoder (VAE)Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

X-axis / feature axis XOR problem XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Z-score Normalization Zero-gradient phenomenon Zygosity in augmentation

O que é Vision Transformer (ViT)

Vision Transformer (ViT) é um modelo inovador introduzido pela Google Research em 2020 que aplica a arquitetura Transformer a tarefas de visão computacional, especialmente na classificação de imagens. Redes neurais convolucionais (CNNs) tradicionais se saem bem no processamento de imagens, mas ViT demonstra desempenho superior em tarefas específicas ao aproveitar o mecanismo de autoatenção.

O mecanismo central do ViT envolve dividir uma imagem em patches de tamanho fixo, que são então linearizados e introduzidos no Transformer para processamento. Diferente das CNNs, o ViT não depende de camadas convolucionais, mas utiliza múltiplas camadas de autoatenção para extrair características, permitindo capturar eficientemente dependências de longo alcance.

Embora o ViT tenha suas vantagens, ele também apresenta algumas desvantagens. Normalmente, requer uma grande quantidade de dados para treinamento e recursos computacionais substanciais. Além disso, o processo de treinamento pode ser lento, especialmente com conjuntos de dados menores. No entanto, o ViT tem mostrado resultados promissores em cenários de aprendizado por transferência.

Olhando para o futuro, o ViT provavelmente será aplicado em uma gama mais ampla de tarefas visuais, especialmente em cenários que exigem compreensão contextual complexa. À medida que o hardware e os algoritmos continuam a evoluir, a disponibilidade e eficiência do ViT podem melhorar ainda mais.