Glossary

0-9

6DoF pose estimation 4D data 5G + AI 1-shot learning 0-shot learning 3D convolution 8-bit quantization 7D representation 2-stage detector 9-layer network

A

Artificial Intelligence (AI)AGI / Artificial General Intelligence Autoencoder Attention Algorithm

B

Backpropagation BERT Bias Boosting Batch Normalization

C

Classifier / Classification CNN / Convolutional Neural Network Clustering Cross-Validation Chatbot

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Ensemble Learning Encoder Embedding Epoch Explainable AI (XAI)

F

Fine-tuning Fusion / Multimodal Fusion Feature Extraction Forward Propagation Foundation Model

G

GAN / Generative Adversarial Network Gradient Descent Grounding Generative AI Graph Neural Network (GNN)

H

Hierarchical Model Heuristic Hallucination Hidden Layer Hyperparameter

I

Instance / Sample Instruction tuning Intelligence Amplification / Augmentation Interpretability Imbalanced Data

J

Juxtaposition Jittering JAX Joint Embedding JSONL / JSON-lines

K

K-Shot Learning Kernel Trick K-means Clustering Knowledge Distillation KL Divergence (Kullback–Leibler Divergence)

L

Learning Rate Large Language Model (LLM)Loss Function Latent Variable LSTM / Long Short-Term Memory

M

Machine Learning (ML)Meta-learning Model Multi-head Attention Multimodal / Multimodality

N

NLP / Natural Language Processing Novelty Detection / Anomaly Detection NLU / Natural Language Understanding Normalization Neural Network

O

Online Learning Objective Function One-hot Encoding Overfitting Optimizer

P

Pretraining Pooling Parameter Policy / Reinforcement Learning Policy Prompt

Q

Q-learning Queue / Buffer Quantization Quality Estimation Query

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Representation Learning Regularization RNN / Recurrent Neural Network

S

Self-Supervised Learning Supervised Learning Sequence Modeling Sampling Softmax

T

Tuning / Hyperparameter Tuning Tokenizer Training Data Transfer Learning Transformer

U

Unsupervised Learning Universal Approximation Theorem Underfitting Uncertainty Estimation U-Net

V

Vector Embedding Variational Autoencoder (VAE)Validation Set Vision Transformer (ViT)Vanishing / Exploding Gradient

W

Weight Decay Weak Supervision Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem XAI / Explainable AI X-axis / feature axis XLM XLNet

Y

Y-axis / feature axis Yield (model yield / throughput)YAGNI (You Aren't Gonna Need It)Y-transform / YUV Yoga of AI

Z

Zero-shot Learning / Zero-shot inference Zero-centric / Zero-bias initialization Z-score Normalization Zero-gradient phenomenon Zygosity in augmentation

¿Qué es un Tokenizer?

Tokenizer - AI and technology concept illustration

© 2025 / unsplash.com

Un tokenizer es un componente crucial en el procesamiento de lenguaje natural (NLP) y en el análisis de lenguajes de programación. Es responsable de descomponer el texto de entrada en unidades más pequeñas, típicamente palabras, subpalabras o símbolos, para su posterior procesamiento.

La tokenización sirve como el primer paso en el procesamiento de texto, sentando las bases para varios algoritmos y modelos, particularmente en contextos de aprendizaje automático y aprendizaje profundo. Diferentes idiomas y aplicaciones requieren diferentes tipos de tokenizers; por ejemplo, los tokenizers basados en espacios funcionan bien para el inglés, mientras que los basados en caracteres son más efectivos para el chino.

La importancia de la tokenización radica en su capacidad de proporcionar información estructurada para el análisis y procesamiento de datos de texto. Al descomponer el texto en tokens, los algoritmos pueden identificar patrones, extraer características y generar predicciones más fácilmente. Por lo tanto, seleccionar el tokenizer apropiado es crucial para garantizar el rendimiento del modelo.

A medida que la inteligencia artificial y el aprendizaje automático continúan evolucionando, los métodos de tokenización también están avanzando. Muchos modelos modernos utilizan técnicas de tokenización basadas en subpalabras, como Byte Pair Encoding (BPE) o WordPiece, que pueden abordar eficazmente palabras raras y nuevos términos, mejorando la capacidad de generalización del modelo.