RAG-Pipeline
Wähle eine Beispiel-Query, starte die Animation und beobachte, wie Retrieval-Augmented Generation Schritt für Schritt abläuft.
Response
Vereinfachte, didaktische Darstellung: reale Embeddings haben hunderte Dimensionen statt zwei.
Ähnlichkeit zur Query
| Rang | Dokument | Cosine Similarity |
|---|---|---|
| ★ | Transformer-Modelle nutzen Attention, um Beziehungen zwischen Tokens in einem Satz zu erfassen. | 0.998 |
| ★ | Die Temperatur steuert, wie deterministisch oder kreativ ein Sprachmodell beim Sampling vorgeht. | 0.990 |
| 3 | Große Sprachmodelle generieren Text, indem sie immer wieder das wahrscheinlichste nächste Token vorhersagen. | 0.961 |
| 4 | Datenpipelines transportieren und transformieren Rohdaten aus verschiedenen Quellsystemen. | -0.242 |
| 5 | Der Bias-Varianz-Tradeoff beschreibt den Zielkonflikt zwischen Modellkomplexität und Generalisierungsfähigkeit. | -0.375 |
| 6 | Ein Data Warehouse speichert strukturierte Daten dauerhaft für Analyse und Reporting. | -0.438 |
| 7 | Gradient Descent ist ein Optimierungsverfahren, das die Verlustfunktion Schritt für Schritt minimiert. | -0.559 |
| 8 | ETL-Prozesse extrahieren, transformieren und laden Daten in ein Zielsystem. | -0.616 |
| 9 | Overfitting tritt auf, wenn ein Modell die Trainingsdaten auswendig lernt, anstatt zu generalisieren. | -0.719 |
Konzepte
Was ist RAG?
Retrieval-Augmented Generation kombiniert eine Suche über eigene Dokumente mit einem LLM. Statt nur auf Trainingswissen zu vertrauen, liest das Modell zuerst relevante Textstellen und antwortet dann darauf gestützt.
Was ist ein Embedding?
Ein Embedding ist eine numerische Darstellung von Text als Vektor. Inhaltlich ähnliche Texte liegen im Vektorraum nahe beieinander – reale Modelle nutzen dafür hunderte statt nur zwei Dimensionen.
Wie funktioniert Similarity Search?
Die Cosine Similarity misst den Winkel zwischen zwei Vektoren. Je kleiner der Winkel zwischen Query- und Dokument-Embedding, desto größer die Ähnlichkeit – die obersten k Treffer werden als Kontext ausgewählt.
Warum Retrieval + LLM kombinieren?
Das LLM erhält sowohl die gefundenen Dokumente als auch die ursprüngliche Query. So kann es aktuelle oder firmeneigene Informationen nutzen, die nicht Teil seiner Trainingsdaten waren, und Antworten besser belegen.