TopAIToolsTopAITools

Glossary

0-9
1-shot learning5G + AI7D representation0-shot learning3D convolution4D data2-stage detector6DoF pose estimation8-bit quantization9-layer network
A
AGI / Artificial General IntelligenceAlgorithmAttentionAutoencoderArtificial Intelligence (AI)
B
BackpropagationBERTBiasBoostingBatch Normalization
C
ChatbotClassifier / ClassificationClusteringCNN / Convolutional Neural NetworkCross-Validation
D
Data AugmentationDeep LearningDeepfakeDeterministic ModelDiscriminative Model
E
Ensemble LearningEmbeddingEncoderEpochExplainable AI (XAI)
F
Feature ExtractionFine-tuningFusion / Multimodal FusionFoundation ModelForward Propagation
G
Gradient DescentGAN / Generative Adversarial NetworkGroundingGenerative AIGraph Neural Network (GNN)
H
Hidden LayerHallucinationHeuristicHyperparameterHierarchical Model
I
Intelligence Amplification / AugmentationImbalanced DataInstance / SampleInstruction tuningInterpretability
J
JAXJitteringJoint EmbeddingJSONL / JSON-linesJuxtaposition
K
Knowledge DistillationKL Divergence (Kullback–Leibler Divergence)K-means ClusteringK-Shot LearningKernel Trick
L
Loss FunctionLSTM / Long Short-Term MemoryLearning RateLarge Language Model (LLM)Latent Variable
M
Machine Learning (ML)Meta-learningModelMulti-head AttentionMultimodal / Multimodality
N
Novelty Detection / Anomaly DetectionNLP / Natural Language ProcessingNLU / Natural Language UnderstandingNormalizationNeural Network
O
Online LearningObjective FunctionOne-hot EncodingOptimizerOverfitting
P
ParameterPolicy / Reinforcement Learning PolicyPoolingPretrainingPrompt
Q
Quality EstimationQueue / BufferQ-learningQuantizationQuery
R
Representation LearningReinforcement Learning (RL)Retrieval Augmented Generation (RAG)RegularizationRNN / Recurrent Neural Network
S
SamplingSelf-Supervised LearningSupervised LearningSequence ModelingSoftmax
T
Training DataTokenizerTransfer LearningTransformerTuning / Hyperparameter Tuning
U
Unsupervised LearningUncertainty EstimationUniversal Approximation TheoremU-NetUnderfitting
V
Vector EmbeddingVanishing / Exploding GradientValidation SetVariational Autoencoder (VAE)Vision Transformer (ViT)
W
Weak SupervisionWeight DecayWhitening / Whitening TransformationWord EmbeddingWorkflow
X
X-axis / feature axisXOR problemXAI / Explainable AIXLMXLNet
Y
Y-axis / feature axisY-transform / YUVYAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI
Z
Zero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZ-score NormalizationZero-gradient phenomenonZygosity in augmentation

O que é Normalização em Lote

A normalização em lote é uma técnica crucial no treinamento de modelos de aprendizado profundo, visando melhorar a velocidade e a estabilidade do treinamento.


A ideia central é padronizar as entradas de cada camada, mantendo a média e a variância em um intervalo pequeno em cada mini-lote de dados. Esse método reduz efetivamente a mudança interna de covariáveis, permitindo taxas de aprendizado mais altas e acelerando a convergência.


A importância da normalização em lote se reflete em vários aspectos. Primeiro, ela acelera o treinamento de redes neurais, pois os dados padronizados tornam o processo de aprendizado mais suave. Em segundo lugar, melhora a capacidade de generalização do modelo, reduzindo o risco de overfitting. Além disso, em alguns casos, a normalização em lote pode fornecer um certo nível de regularização, minimizando a dependência de outras técnicas de regularização, como o Dropout.


O mecanismo operacional envolve calcular a média e a variância do lote atual e, em seguida, padronizar a entrada com base nessas estatísticas. Em seguida, os dados padronizados são ajustados por meio de parâmetros de escala e deslocamento treináveis. Esse processo é atualizado em cada etapa de treinamento, permitindo que o modelo se ajuste de forma adaptativa durante o treinamento.


No entanto, a normalização em lote não está isenta de desvantagens. Em certas situações, especialmente com tamanhos de lote pequenos, as estimativas de média e variância podem ser instáveis. Além disso, a normalização em lote pode ter um desempenho ruim em certas arquiteturas de rede, como redes neurais recorrentes.


Tendências futuras indicam que a normalização em lote pode se integrar a métodos de regularização emergentes, como a normalização de camada e a normalização de grupo, para se adaptar melhor a várias arquiteturas de rede e requisitos de tarefa. Em resumo, a normalização em lote se tornou uma parte indispensável do aprendizado profundo moderno, melhorando significativamente a eficiência de treinamento e o desempenho do modelo.