Glossary

0-9

1-shot learning 3D convolution 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 9-layer network 0-shot learning 4D data

A

AGI / Artificial General Intelligence Attention Autoencoder Algorithm Artificial Intelligence (AI)

B

Backpropagation Batch Normalization BERT Bias Boosting

C

Clustering CNN / Convolutional Neural Network Chatbot Classifier / Classification Cross-Validation

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Encoder Embedding Ensemble Learning Epoch Explainable AI (XAI)

F

Foundation Model Fine-tuning Fusion / Multimodal Fusion Feature Extraction Forward Propagation

G

Graph Neural Network (GNN)GAN / Generative Adversarial Network Generative AI Gradient Descent Grounding

H

Hierarchical Model Hyperparameter Hidden Layer Hallucination Heuristic

I

Instance / Sample Instruction tuning Intelligence Amplification / Augmentation Interpretability Imbalanced Data

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

Kernel Trick KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Knowledge Distillation

L

Learning Rate Large Language Model (LLM)Latent Variable Loss Function LSTM / Long Short-Term Memory

M

Model Machine Learning (ML)Meta-learning Multi-head Attention Multimodal / Multimodality

N

Neural Network Novelty Detection / Anomaly Detection NLP / Natural Language Processing NLU / Natural Language Understanding Normalization

O

Objective Function Optimizer One-hot Encoding Online Learning Overfitting

P

Parameter Prompt Policy / Reinforcement Learning Policy Pooling Pretraining

Q

Query Q-learning Quality Estimation Quantization Queue / Buffer

R

Representation Learning Regularization Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)RNN / Recurrent Neural Network

S

Sampling Self-Supervised Learning Sequence Modeling Softmax Supervised Learning

T

Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning Training Data

U

Universal Approximation Theorem U-Net Underfitting Uncertainty Estimation Unsupervised Learning

V

Validation Set Vanishing / Exploding Gradient Variational Autoencoder (VAE)Vector Embedding Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Z-score Normalization Zero-shot Learning / Zero-shot inference Zygosity in augmentation

Was ist Selbstüberwachtes Lernen?

Selbstüberwachtes Lernen ist ein Ansatz des maschinellen Lernens, der darauf abzielt, Modelle mit unbeschrifteten Daten zu trainieren, um nützliche Merkmalsdarstellungen zu erzeugen. Diese Methode hat in den letzten Jahren, insbesondere in der Bildverarbeitung und der Verarbeitung natürlicher Sprache, erhebliche Aufmerksamkeit erlangt.

Der Hintergrund des selbstüberwachten Lernens ergibt sich aus den Einschränkungen des überwachten Lernens, das eine große Menge an beschrifteten Daten erfordert, die in praktischen Anwendungen oft schwer zu beschaffen sind. Durch die Nutzung des selbstüberwachten Lernens können Modelle Informationen aus unbeschrifteten Daten extrahieren und so Merkmalsdarstellungen aufbauen.

In Bezug auf die Funktionsweise umfasst das selbstüberwachte Lernen in der Regel die Einrichtung von Vorhersageaufgaben während des Trainings. In der Bildverarbeitung muss ein Modell beispielsweise Teile eines Bildes vorhersagen oder versteckte Bilder rekonstruieren. Im Bereich der Verarbeitung natürlicher Sprache verwenden Modelle wie BERT maskierte Sprachmodellierung für das selbstüberwachte Training, was die Leistung in nachgelagerten Aufgaben verbessert.

Die Vorteile des selbstüberwachten Lernens umfassen die effektive Nutzung großer Mengen unbeschrifteter Daten und die Verbesserung der Modellleistung. Ein Nachteil besteht jedoch darin, dass Modelle unnötigen Lärm lernen können, was die Leistung potenziell verschlechtert. Darüber hinaus müssen das Design und der Trainingsprozess des Modells in der Praxis sorgfältig behandelt werden, obwohl es theoretisch breite Anwendungsperspektiven gibt.

In der Zukunft hat das selbstüberwachte Lernen das Potenzial, in weiteren Bereichen angewendet zu werden, insbesondere in datenarmen Situationen. Es könnte als Brücke zwischen unüberwachtem und überwachten Lernen dienen und den Fortschritt in der künstlichen Intelligenz vorantreiben.