Glossary

0-9

1-shot learning 3D convolution 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 9-layer network 0-shot learning 4D data

A

AGI / Artificial General Intelligence Attention Autoencoder Algorithm Artificial Intelligence (AI)

B

Backpropagation Batch Normalization BERT Bias Boosting

C

Clustering CNN / Convolutional Neural Network Chatbot Classifier / Classification Cross-Validation

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Encoder Embedding Ensemble Learning Epoch Explainable AI (XAI)

F

Foundation Model Fine-tuning Fusion / Multimodal Fusion Feature Extraction Forward Propagation

G

Graph Neural Network (GNN)GAN / Generative Adversarial Network Generative AI Gradient Descent Grounding

H

Hierarchical Model Hyperparameter Hidden Layer Hallucination Heuristic

I

Instance / Sample Instruction tuning Intelligence Amplification / Augmentation Interpretability Imbalanced Data

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

Kernel Trick KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Knowledge Distillation

L

Learning Rate Large Language Model (LLM)Latent Variable Loss Function LSTM / Long Short-Term Memory

M

Model Machine Learning (ML)Meta-learning Multi-head Attention Multimodal / Multimodality

N

Neural Network Novelty Detection / Anomaly Detection NLP / Natural Language Processing NLU / Natural Language Understanding Normalization

O

Objective Function Optimizer One-hot Encoding Online Learning Overfitting

P

Parameter Prompt Policy / Reinforcement Learning Policy Pooling Pretraining

Q

Query Q-learning Quality Estimation Quantization Queue / Buffer

R

Representation Learning Regularization Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)RNN / Recurrent Neural Network

S

Sampling Self-Supervised Learning Sequence Modeling Softmax Supervised Learning

T

Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning Training Data

U

Universal Approximation Theorem U-Net Underfitting Uncertainty Estimation Unsupervised Learning

V

Validation Set Vanishing / Exploding Gradient Variational Autoencoder (VAE)Vector Embedding Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Z-score Normalization Zero-shot Learning / Zero-shot inference Zygosity in augmentation

Was ist der Universelle Approximationssatz

Der Universelle Approximationssatz (Universal Approximation Theorem, UA Theorem) ist ein fundamentales Ergebnis in der Theorie von Neuronalen Netzen und der Funktionsapproximation. Er besagt, dass ein Feedforward-Neuronales Netzwerk mit genügend versteckten Schichten jede kontinuierliche Funktion approximieren kann.

Dieser Satz wurde erstmals 1989 von George Cybenko formuliert und seitdem mehrfach erweitert. Die zentrale Idee ist, dass trotz der Komplexität der Strukturen von Neuronalen Netzen ein ausreichend tiefes Netzwerk eine beliebige Präzision bei der Approximation jeder kontinuierlichen Funktion erreichen kann.

Die Bedeutung des UA Theorems liegt in seiner theoretischen Grundlage für den Erfolg des Deep Learning und zeigt, dass Neuronale Netze leistungsfähige Werkzeuge zur Funktionsapproximation sind. Diese Entdeckung hat die breite Anwendung von Neuronalen Netzen, insbesondere in Bereichen wie Bildverarbeitung und natürlicher Sprachverarbeitung, vorangetrieben.

Der Satz wird typischerweise auf Feedforward-Neuronale Netze angewendet, insbesondere auf solche mit einer einzelnen verborgenen Schicht. Durch geeignete Aktivierungsfunktionen (wie Sigmoid oder ReLU) kann das Netzwerk komplexe Beziehungen zwischen Eingaben und Ausgaben erfassen.

Zukünftige Trends deuten darauf hin, dass mit dem Fortschritt der Deep Learning-Technologie die Anwendungen des UA Theorems weiter auf komplexere Modelle und Algorithmen ausgeweitet werden, insbesondere auf Generative Adversarial Networks (GANs) und Verstärkungslernrahmen.

Obwohl die theoretische Anwendbarkeit des Satzes breit ist, können praktische Implementierungen Herausforderungen wie Überanpassung und langsame Konvergenz während des Trainings begegnen. Daher ist das Verständnis des UA Theorems entscheidend für diejenigen, die in der Forschung zu maschinellem Lernen und Deep Learning tätig sind, insbesondere bei der Gestaltung und Optimierung von Neuronalen Netzen.