TopAIToolsTopAITools

Glossary

0-9
1-shot learning5G + AI6DoF pose estimation7D representation8-bit quantization2-stage detector4D data0-shot learning9-layer network3D convolution
A
AGI / Artificial General IntelligenceAutoencoderAttentionAlgorithmArtificial Intelligence (AI)
B
BackpropagationBERTBoostingBatch NormalizationBias
C
ChatbotClusteringCNN / Convolutional Neural NetworkCross-ValidationClassifier / Classification
D
Deep LearningDeepfakeDiscriminative ModelDeterministic ModelData Augmentation
E
EmbeddingEncoderEpochEnsemble LearningExplainable AI (XAI)
F
Fine-tuningFusion / Multimodal FusionForward PropagationFoundation ModelFeature Extraction
G
GAN / Generative Adversarial NetworkGradient DescentGroundingGraph Neural Network (GNN)Generative AI
H
HyperparameterHeuristicHidden LayerHierarchical ModelHallucination
I
Imbalanced DataInterpretabilityInstruction tuningInstance / SampleIntelligence Amplification / Augmentation
J
JAXJitteringJoint EmbeddingJSONL / JSON-linesJuxtaposition
K
KL Divergence (Kullback–Leibler Divergence)K-means ClusteringK-Shot LearningKernel TrickKnowledge Distillation
L
Latent VariableLoss FunctionLSTM / Long Short-Term MemoryLarge Language Model (LLM)Learning Rate
M
Multimodal / MultimodalityMachine Learning (ML)Meta-learningModelMulti-head Attention
N
NormalizationNeural NetworkNLP / Natural Language ProcessingNLU / Natural Language UnderstandingNovelty Detection / Anomaly Detection
O
Objective FunctionOnline LearningOne-hot EncodingOverfittingOptimizer
P
Policy / Reinforcement Learning PolicyPoolingPretrainingPromptParameter
Q
Queue / BufferQuantizationQ-learningQueryQuality Estimation
R
Retrieval Augmented Generation (RAG)Representation LearningReinforcement Learning (RL)RegularizationRNN / Recurrent Neural Network
S
Supervised LearningSelf-Supervised LearningSequence ModelingSamplingSoftmax
T
Training DataTokenizerTransfer LearningTransformerTuning / Hyperparameter Tuning
U
Universal Approximation TheoremUnsupervised LearningU-NetUnderfittingUncertainty Estimation
V
Variational Autoencoder (VAE)Vector EmbeddingVanishing / Exploding GradientValidation SetVision Transformer (ViT)
W
Weak SupervisionWeight DecayWhitening / Whitening TransformationWord EmbeddingWorkflow
X
XOR problemX-axis / feature axisXAI / Explainable AIXLMXLNet
Y
Y-axis / feature axisY-transform / YUVYAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI
Z
Z-score NormalizationZero-gradient phenomenonZero-shot Learning / Zero-shot inferenceZero-centric / Zero-bias initializationZygosity in augmentation

Định lý xấp xỉ phổ quát là gì

Định lý xấp xỉ phổ quát (Universal Approximation Theorem, UA Theorem) là một kết quả cơ bản trong lý thuyết mạng nơ-ron và xấp xỉ hàm. Nó khẳng định rằng một mạng nơ-ron feedforward với đủ lớp ẩn có thể xấp xỉ bất kỳ hàm liên tục nào.


Định lý này lần đầu tiên được George Cybenko giới thiệu vào năm 1989 và kể từ đó đã được mở rộng. Ý tưởng trung tâm là, mặc dù cấu trúc của các mạng nơ-ron có thể phức tạp, nhưng một mạng đủ sâu có thể đạt được độ chính xác tùy ý trong việc xấp xỉ bất kỳ hàm liên tục nào.


Ý nghĩa của Định lý UA nằm ở cơ sở lý thuyết cho sự thành công của học sâu, cho thấy rằng các mạng nơ-ron là công cụ mạnh mẽ để xấp xỉ hàm. Phát hiện này đã thúc đẩy việc ứng dụng rộng rãi các mạng nơ-ron, đặc biệt trong các lĩnh vực như nhận diện hình ảnh và xử lý ngôn ngữ tự nhiên.


Định lý này thường được áp dụng cho các mạng nơ-ron feedforward, đặc biệt là những mạng có một lớp ẩn duy nhất. Bằng cách sử dụng các hàm kích hoạt thích hợp (như sigmoid hoặc ReLU), các mạng này có thể nắm bắt được các mối quan hệ phức tạp giữa các đầu vào và đầu ra.


Các xu hướng tương lai chỉ ra rằng khi công nghệ học sâu tiến bộ, các ứng dụng của Định lý UA sẽ tiếp tục mở rộng sang các mô hình và thuật toán phức tạp hơn, đặc biệt là trong các Mạng Đối Kháng Sinh (GAN) và các khung học tăng cường.


Mặc dù tính ứng dụng lý thuyết của định lý là rộng rãi, nhưng các thực hiện thực tế có thể gặp phải các thách thức như quá khớp và tốc độ hội tụ chậm trong quá trình huấn luyện. Do đó, việc hiểu Định lý UA là điều cần thiết cho những ai tham gia nghiên cứu máy học và học sâu, đặc biệt là khi thiết kế và tối ưu các mạng nơ-ron.