Glossary

0-9

1-shot learning 3D convolution 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 2-stage detector 9-layer network 0-shot learning 4D data

A

AGI / Artificial General Intelligence Attention Autoencoder Algorithm Artificial Intelligence (AI)

B

Backpropagation Batch Normalization BERT Bias Boosting

C

Clustering CNN / Convolutional Neural Network Chatbot Classifier / Classification Cross-Validation

D

Data Augmentation Deep Learning Deepfake Deterministic Model Discriminative Model

E

Encoder Embedding Ensemble Learning Epoch Explainable AI (XAI)

F

Foundation Model Fine-tuning Fusion / Multimodal Fusion Feature Extraction Forward Propagation

G

Graph Neural Network (GNN)GAN / Generative Adversarial Network Generative AI Gradient Descent Grounding

H

Hierarchical Model Hyperparameter Hidden Layer Hallucination Heuristic

I

Instance / Sample Instruction tuning Intelligence Amplification / Augmentation Interpretability Imbalanced Data

J

JAX Jittering Joint Embedding JSONL / JSON-lines Juxtaposition

K

Kernel Trick KL Divergence (Kullback–Leibler Divergence)K-means Clustering K-Shot Learning Knowledge Distillation

L

Learning Rate Large Language Model (LLM)Latent Variable Loss Function LSTM / Long Short-Term Memory

M

Model Machine Learning (ML)Meta-learning Multi-head Attention Multimodal / Multimodality

N

Neural Network Novelty Detection / Anomaly Detection NLP / Natural Language Processing NLU / Natural Language Understanding Normalization

O

Objective Function Optimizer One-hot Encoding Online Learning Overfitting

P

Parameter Prompt Policy / Reinforcement Learning Policy Pooling Pretraining

Q

Query Q-learning Quality Estimation Quantization Queue / Buffer

R

Representation Learning Regularization Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)RNN / Recurrent Neural Network

S

Sampling Self-Supervised Learning Sequence Modeling Softmax Supervised Learning

T

Tokenizer Transfer Learning Transformer Tuning / Hyperparameter Tuning Training Data

U

Universal Approximation Theorem U-Net Underfitting Uncertainty Estimation Unsupervised Learning

V

Validation Set Vanishing / Exploding Gradient Variational Autoencoder (VAE)Vector Embedding Vision Transformer (ViT)

W

Weak Supervision Weight Decay Whitening / Whitening Transformation Word Embedding Workflow

X

XOR problem X-axis / feature axis XAI / Explainable AI XLM XLNet

Y

Y-axis / feature axis Y-transform / YUV YAGNI (You Aren't Gonna Need It)Yield (model yield / throughput)Yoga of AI

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Z-score Normalization Zero-shot Learning / Zero-shot inference Zygosity in augmentation

Was ist Retrieval Augmented Generation (RAG)?

Retrieval Augmented Generation (RAG) ist ein Modell, das Retrieval- und Generierungstechniken kombiniert und in der natürlichen Sprachverarbeitung (NLP) weit verbreitet ist.

Die zentrale Idee von RAG besteht darin, die Fähigkeiten von Generierungsmodellen durch die Retrieval relevanter Informationen zu verbessern, wodurch die Relevanz und Genauigkeit des generierten Textes erhöht wird. RAG arbeitet normalerweise, indem es zuerst relevante Textsegmente aus einer Wissensdatenbank abruft und diese Segmente dann als Kontext für das Generierungsmodell verwendet.

Dieser Ansatz ermöglicht es dem Modell, nicht nur auf sein internes Wissen zuzugreifen, sondern auch externe Informationsquellen zu nutzen, um die Qualität seiner Ausgabe zu verbessern. Ein typisches Szenario für RAG ist in Frage-Antwort-Systemen, in denen das Modell basierend auf den Fragen der Benutzer Informationen aus einer Datenbank abrufen und informativere Antworten generieren kann.

Die Zukunft von RAG ist vielversprechend. Da sich Wissensdatenbanken weiterhin erweitern und aktualisieren, werden RAG-Modelle besser in der Lage sein, komplexe Anfragen zu bearbeiten und genauere Antworten zu liefern. Darüber hinaus kann RAG in vielen anderen Bereichen wie der Inhaltserstellung und Dialogsystemen eingesetzt werden.

RAG sieht sich jedoch auch einigen Herausforderungen gegenüber. Fragen wie die effiziente Retrieval relevanter Informationen, die Verarbeitung der abgerufenen Daten und die Aufrechterhaltung der Kohärenz und Konsistenz des generierten Inhalts sind Punkte, die es zu erforschen gilt. Dennoch sind die Vorteile von RAG offensichtlich, da es die Stärken von Retrieval und Generierung kombiniert und die Leistung natürlicher Sprachverarbeitungsaufgaben erheblich verbessert.