TopAIToolsTopAITools

Glossary

0-9
6DoF pose estimation4D data5G + AI1-shot learning0-shot learning3D convolution8-bit quantization7D representation2-stage detector9-layer network
A
Artificial Intelligence (AI)AGI / Artificial General IntelligenceAutoencoderAttentionAlgorithm
B
BackpropagationBERTBiasBoostingBatch Normalization
C
Classifier / ClassificationCNN / Convolutional Neural NetworkClusteringCross-ValidationChatbot
D
Data AugmentationDeep LearningDeepfakeDeterministic ModelDiscriminative Model
E
Ensemble LearningEncoderEmbeddingEpochExplainable AI (XAI)
F
Fine-tuningFusion / Multimodal FusionFeature ExtractionForward PropagationFoundation Model
G
GAN / Generative Adversarial NetworkGradient DescentGroundingGenerative AIGraph Neural Network (GNN)
H
Hierarchical ModelHeuristicHallucinationHidden LayerHyperparameter
I
Instance / SampleInstruction tuningIntelligence Amplification / AugmentationInterpretabilityImbalanced Data
J
JuxtapositionJitteringJAXJoint EmbeddingJSONL / JSON-lines
K
K-Shot LearningKernel TrickK-means ClusteringKnowledge DistillationKL Divergence (Kullback–Leibler Divergence)
L
Learning RateLarge Language Model (LLM)Loss FunctionLatent VariableLSTM / Long Short-Term Memory
M
Machine Learning (ML)Meta-learningModelMulti-head AttentionMultimodal / Multimodality
N
NLP / Natural Language ProcessingNovelty Detection / Anomaly DetectionNLU / Natural Language UnderstandingNormalizationNeural Network
O
Online LearningObjective FunctionOne-hot EncodingOverfittingOptimizer
P
PretrainingPoolingParameterPolicy / Reinforcement Learning PolicyPrompt
Q
Q-learningQueue / BufferQuantizationQuality EstimationQuery
R
Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Representation LearningRegularizationRNN / Recurrent Neural Network
S
Self-Supervised LearningSupervised LearningSequence ModelingSamplingSoftmax
T
Tuning / Hyperparameter TuningTokenizerTraining DataTransfer LearningTransformer
U
Unsupervised LearningUniversal Approximation TheoremUnderfittingUncertainty EstimationU-Net
V
Vector EmbeddingVariational Autoencoder (VAE)Validation SetVision Transformer (ViT)Vanishing / Exploding Gradient
W
Weight DecayWeak SupervisionWhitening / Whitening TransformationWord EmbeddingWorkflow
X
XOR problemXAI / Explainable AIX-axis / feature axisXLMXLNet
Y
Y-axis / feature axisYield (model yield / throughput)YAGNI (You Aren't Gonna Need It)Y-transform / YUVYoga of AI
Z
Zero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZ-score NormalizationZero-gradient phenomenonZygosity in augmentation

¿Qué es el Tuning / Tuning de Hiperparámetros?

El tuning de hiperparámetros es un proceso crucial en el aprendizaje automático y el aprendizaje profundo que implica la selección de los mejores hiperparámetros para un modelo con el fin de mejorar su rendimiento. Los hiperparámetros son configuraciones definidas antes del entrenamiento del modelo y afectan cómo aprende y se comporta el modelo, a diferencia de los parámetros del modelo, como los pesos. La elección de los hiperparámetros es vital en el flujo de trabajo del aprendizaje automático.


La elección de los hiperparámetros tiene un impacto significativo en el rendimiento del modelo. A través de un tuning adecuado, es posible mejorar considerablemente la capacidad predictiva del modelo, minimizando los riesgos de sobreajuste o subajuste. Un tuning eficaz conduce a un mejor rendimiento en los conjuntos de validación, mejorando los resultados en aplicaciones reales.


Los métodos comunes de tuning de hiperparámetros incluyen la búsqueda en cuadrícula (Grid Search), la búsqueda aleatoria (Random Search) y la optimización bayesiana (Bayesian Optimization). La búsqueda en cuadrícula evalúa exhaustivamente todas las combinaciones posibles de parámetros para encontrar los mejores, mientras que la búsqueda aleatoria selecciona aleatoriamente combinaciones de parámetros para evaluación. La optimización bayesiana utiliza un modelo probabilístico para guiar la selección de hiperparámetros, encontrando soluciones óptimas más rápidamente.


El tuning de hiperparámetros es indispensable en campos como la clasificación de imágenes, el procesamiento del lenguaje natural y los sistemas de recomendación. Por ejemplo, al entrenar redes neuronales convolucionales (CNN), hiperparámetros como la tasa de aprendizaje, el tamaño del lote y la profundidad de la red necesitan ser ajustados cuidadosamente para lograr el mejor rendimiento.


A medida que el aprendizaje automático automatizado (AutoML) y el aprendizaje profundo evolucionan, el tuning de hiperparámetros se volverá más inteligente y automatizado. Al utilizar técnicas avanzadas como algoritmos evolutivos y aprendizaje por refuerzo, los procesos de tuning del futuro podrán encontrar combinaciones ideales de parámetros más rápidamente.


Si bien el tuning de hiperparámetros ofrece ventajas en términos de rendimiento y precisión del modelo, el proceso puede ser muy lento y requerir muchos recursos computacionales. Elegir los métodos y herramientas de tuning adecuados puede ayudar a mitigar estos problemas.


Al realizar el tuning de hiperparámetros, la división de datos (como conjuntos de entrenamiento, validación y prueba) es muy importante para evitar filtraciones de datos y sobreajuste. Los mejores valores de hiperparámetros pueden variar entre diferentes conjuntos de datos y tareas, por lo que es necesario elegir con cuidado.