Glossary

0-9

1-shot learning 3D convolution 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 9-layer network 0-shot learning 4D data

A

AGI / Artificial General Intelligence Attention Autoencoder Algorithm Artificial Intelligence (AI)

B

Backpropagation Batch Normalization BERT Bias Boosting

C

Clustering CNN / Convolutional Neural Network Chatbot Classifier / Classification Cross-Validation

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Encoder Embedding Ensemble Learning Epoch Explainable AI (XAI)

F

Foundation Model Fine-tuning Fusion / Multimodal Fusion Feature Extraction Forward Propagation

G

Graph Neural Network (GNN)GAN / Generative Adversarial Network Generative AI Gradient Descent Grounding

H

Hierarchical Model Hyperparameter Hidden Layer Hallucination Heuristic

I

Instance / Sample Instruction tuning Intelligence Amplification / Augmentation Interpretability Imbalanced Data

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

Kernel Trick KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Knowledge Distillation

L

Learning Rate Large Language Model (LLM)Latent Variable Loss Function LSTM / Long Short-Term Memory

M

Model Machine Learning (ML)Meta-learning Multi-head Attention Multimodal / Multimodality

N

Neural Network Novelty Detection / Anomaly Detection NLP / Natural Language Processing NLU / Natural Language Understanding Normalization

O

Objective Function Optimizer One-hot Encoding Online Learning Overfitting

P

Parameter Prompt Policy / Reinforcement Learning Policy Pooling Pretraining

Q

Query Q-learning Quality Estimation Quantization Queue / Buffer

R

Representation Learning Regularization Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)RNN / Recurrent Neural Network

S

Sampling Self-Supervised Learning Sequence Modeling Softmax Supervised Learning

T

Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning Training Data

U

Universal Approximation Theorem U-Net Underfitting Uncertainty Estimation Unsupervised Learning

V

Validation Set Vanishing / Exploding Gradient Variational Autoencoder (VAE)Vector Embedding Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Z-score Normalization Zero-shot Learning / Zero-shot inference Zygosity in augmentation

Was ist LSTM / Langzeit-Kurzzeitgedächtnis

LSTM (Langzeit-Kurzzeitgedächtnis) ist eine spezielle Art von rekurrentem neuronalen Netzwerk (RNN), das entwickelt wurde, um Datenfolgen zu verarbeiten und vorherzusagen. Es wurde 1997 von Hochreiter und Schmidhuber eingeführt und adressiert die Probleme des verschwindenden und explodierenden Gradienten, die in traditionellen RNNs beim Umgang mit langen Sequenzen auftreten. Die Struktur von LSTM ermöglicht es, Informationen über lange Zeiträume zu speichern, was es für Aufgaben geeignet macht, die zeitliche Abfolgen, natürliche Sprachverarbeitung und Spracherkennung betreffen.

Das Herzstück von LSTM liegt in seiner einzigartigen Zellstruktur, die ein Eingangstor, ein Vergessenstor und ein Ausgangstor umfasst. Diese Tormechanismen helfen LSTM zu entscheiden, wann Informationen beibehalten, aktualisiert oder verworfen werden sollen. Dieser Betriebsmechanismus ermöglicht es LSTM, in Aufgaben, die Langzeitgedächtnis erfordern, wie Textgenerierung und maschinelle Übersetzung, hervorragende Leistungen zu erbringen.

In der Praxis wurde LSTM in vielen Bereichen wie der Vorhersage von Finanzdaten, der Klimamodellierung, der Spracherkennung und der Videoanalyse weit verbreitet. Dennoch sind die komplexe Struktur und die hohen Rechenanforderungen wesentliche Nachteile.

In Zukunft, mit der ständigen Weiterentwicklung der Deep-Learning-Technologien, könnte LSTM mit anderen aufkommenden Technologien, wie z.B. Transformer-Modellen, kombiniert werden, um die Verarbeitungseffizienz und -effectivität weiter zu verbessern. Daher ist es entscheidend, die Funktionsweise von LSTM und seine Anwendungen im modernen Deep Learning zu verstehen.