Was ist RAG? Retrieval-Augmented Generation einfach erklärt

RAG (Retrieval-Augmented Generation) ist ein Verfahren, bei dem eine KI vor dem Antworten zuerst die passenden Textstellen aus einem hinterlegten Dokumentbestand heraussucht und ihre Antwort ausschließlich darauf stützt. In einem Satz fürs Management: Die KI beantwortet Fragen nicht aus dem Gedächtnis, sondern schlägt vorher in Ihren eigenen Unterlagen nach. Dadurch werden Antworten belegbar, aktuell und deutlich seltener frei erfunden.

In Kürze

• RAG kombiniert eine Suche in eigenen Dokumenten mit der Sprachfähigkeit eines KI-Modells.
• Der Ablauf besteht aus drei Schritten: Suchen, Anreichern, Antworten.
• Weil die Antwort auf konkreten Fundstellen beruht, lässt sich jede Aussage mit einer Quelle belegen.
• RAG ist kein Training: Neue Dokumente sind sofort abfragbar, ohne das Modell zu verändern.
• Grenzen bestehen dort, wo Dokumente fehlen, widersprüchlich sind oder Wissen nie festgehalten wurde.

Wie erklärt die Bibliothekar-Analogie RAG?

Stellen Sie sich einen erfahrenen Bibliothekar vor, der eine riesige Firmenbibliothek betreut. Fragen Sie ihn etwas, läuft er zunächst zu den Regalen, zieht die drei relevanten Akten heraus, liest die entscheidenden Passagen – und beantwortet Ihre Frage erst dann, mit den aufgeschlagenen Seiten vor sich auf dem Tisch.

Ein gewöhnlicher Chatbot ohne RAG arbeitet anders: Er gleicht einem belesenen Gesprächspartner, der vor Jahren sehr viel gelesen hat, aber gerade keinen Zugang zu Ihrer Bibliothek besitzt. Er antwortet aus der Erinnerung – oft eloquent, manchmal richtig, gelegentlich frei erfunden, und Ihre firmeneigenen Akten kennt er überhaupt nicht.

RAG macht aus dem Gesprächspartner den Bibliothekar. Das Sprachmodell (LLM, Large Language Model – ein KI-Programm, das aus großen Textmengen gelernt hat, Sprache zu verstehen und zu formulieren) liefert weiterhin die Formulierungskunst, aber die Fakten kommen aus den Regalen Ihrer eigenen Bibliothek.

Welche drei Schritte laufen bei RAG ab?

Hinter jeder RAG-Antwort steckt derselbe dreistufige Ablauf, der in Sekundenbruchteilen und für Anwender unsichtbar passiert. Mathematik braucht es zum Verständnis keine.

1. Suchen (Retrieval): Das System durchsucht den hinterlegten Dokumentbestand nach Textstellen, die zur Frage passen. Gesucht wird dabei nach Bedeutung, nicht nur nach exakten Wörtern – die Frage nach der „Kündigungsfrist” findet auch die Klausel, in der vom „Ende des Vertragsverhältnisses” die Rede ist.
2. Anreichern (Augmentation): Die gefundenen Textausschnitte werden gemeinsam mit der ursprünglichen Frage an das Sprachmodell übergeben – vergleichbar mit den aufgeschlagenen Akten, die der Bibliothekar vor sich hinlegt.
3. Antworten (Generation): Das Sprachmodell formuliert aus genau diesen Ausschnitten eine verständliche Antwort und gibt die Fundstellen als Quellen mit aus.

Entscheidend ist die Reihenfolge: Erst wird gesucht, dann geantwortet. Das Modell bekommt die Anweisung, sich an die mitgelieferten Textstellen zu halten – und wenn dort nichts Passendes steht, soll es genau das sagen, statt zu improvisieren.

Für die Anwender bleibt von alledem nur ein Chat-Fenster sichtbar. Frage eintippen, Antwort samt Quellenverweis erhalten, bei Bedarf das Originaldokument öffnen – die drei Schritte im Hintergrund erfordern weder Schulung noch technisches Verständnis.

Warum reduziert RAG Halluzinationen?

Halluzinationen nennt man das Phänomen, dass Sprachmodelle überzeugend klingende, aber falsche Aussagen erzeugen – erfundene Fakten, Zahlen oder Quellen. Ein frei antwortendes Modell hat keine Möglichkeit zu prüfen, ob seine Erinnerung stimmt; es produziert die sprachlich wahrscheinlichste Fortsetzung, nicht die belegte Wahrheit.

RAG entschärft dieses Problem an der Wurzel, weil die Antwort an konkrete Fundstellen gebunden ist. Das Modell soll nicht mehr aus dem Gedächtnis referieren, sondern vorliegende Textausschnitte zusammenfassen – eine Aufgabe, bei der Sprachmodelle deutlich verlässlicher arbeiten als beim freien Erinnern.

Vollständig verschwinden Halluzinationen dadurch nicht, und Ehrlichkeit gebietet, das klar zu sagen. Auch ein RAG-System kann Fundstellen unglücklich zusammenfassen oder Nuancen verkürzen. Der praktische Unterschied liegt in der Überprüfbarkeit: Weil jede Antwort auf ein Quelldokument verweist, kostet die Kontrolle einen Klick statt einer eigenen Recherche.

Was unterscheidet RAG vom Trainieren einer KI?

„Wir trainieren die KI mit Ihren Daten” klingt ähnlich, ist aber ein grundlegend anderer – und für die meisten Betriebe ungeeigneter – Ansatz. Beim Training beziehungsweise Fine-Tuning werden die inneren Parameter des Modells selbst verändert; das Wissen wandert gewissermaßen fest in das Modell hinein.

Kriterium	RAG	Training / Fine-Tuning
Neue Dokumente	Sofort abfragbar	Erst nach erneutem Training
Quellenangabe	Fundstelle pro Antwort	Nicht möglich – Wissen ist „einbacken”
Daten entfernen	Dokument löschen genügt	Kaum möglich ohne Neutraining
Aufwand	Einrichtung, dann laufend gering	Hoch und wiederkehrend
Kontrolle	Antwortbasis jederzeit einsehbar	Verhalten schwer nachvollziehbar

Für den Anwendungsfall „Antworten aus den eigenen Firmendokumenten” ist RAG dem Training in fast allen Punkten überlegen. Besonders gewichtig ist der Löschaspekt: Ein Dokument aus einer RAG-Wissensbasis zu entfernen ist ein Handgriff – antrainiertes Wissen wieder aus einem Modell herauszubekommen ist praktisch unmöglich.

Training hat seine Berechtigung an anderer Stelle, etwa wenn ein Modell einen speziellen Schreibstil oder Fachjargon übernehmen soll. Faktenwissen, das sich laufend ändert, gehört hingegen in die Dokumentbasis, nicht in die Modellparameter.

Wo stößt RAG an Grenzen?

RAG findet nur, was in den Dokumenten steht. Erfahrungswissen, das nie festgehalten wurde – der Handgriff des Monteurs, die Vorgeschichte einer Kundenbeziehung – bleibt für jedes System unsichtbar, bis es zumindest als Notiz oder Sprachaufnahme erfasst ist.

Widersprüchliche und veraltete Dokumente bleiben eine inhaltliche Schwachstelle. Existieren drei Versionen einer Preisliste, kann das System zwar alle drei finden und benennen, aber nicht sicher entscheiden, welche gilt. Eine Grundhygiene der Ablage – überholte Stände kennzeichnen oder aussortieren – bleibt Aufgabe des Betriebs.

Auch die Fragestellung hat Einfluss auf die Qualität. Sehr vage Fragen („Was war da mit dem Projekt?”) liefern schwächere Ergebnisse als konkrete („Welche Zahlungsziele wurden im Projekt Musterbau vereinbart?”). Anwender lernen den Umgang erfahrungsgemäß schnell, aber ein Zauberstab für unklare Anliegen ist auch RAG nicht.

Schließlich hat auch die Suche selbst ihre Tücken. Fragen, deren Antwort sich erst aus vielen Dokumenten zusammensetzt – etwa eine Auswertung über sämtliche Projekte eines Jahres –, überfordern den Ansatz eher als die gezielte Einzelfrage. RAG glänzt beim Nachschlagen, nicht bei der statistischen Auswertung ganzer Bestände.

Was bedeutet RAG für Betriebe in der Praxis?

Für kleine und mittlere Unternehmen ist RAG der technische Unterbau, der KI-Dokumentensuche überhaupt erst betriebstauglich macht: der gesamte Bestand statt einzelner Uploads, laufende Aktualität statt eingefrorener Kopien und eine Quellenangabe statt Vertrauensvorschuss. Welche Alternativen es gibt und warum sie im Dauerbetrieb scheitern, zeigt der Leitfaden ChatGPT mit eigenen Daten nutzen.

Beim Anbietervergleich lohnt der Blick auf die RAG-typischen Qualitätsmerkmale: Antwortet das System wirklich nur aus den eigenen Dokumenten? Führt jede Antwort zur überprüfbaren Fundstelle? Werden Scans per Texterkennung (OCR, der automatischen Umwandlung von Bildern in durchsuchbaren Text) erfasst? Und liegen die Daten auf EU-Servern mit vertraglich geregelter Verarbeitung?

Ob eine Lösung diese Kriterien im eigenen Betrieb erfüllt, zeigt sich am verlässlichsten mit den eigenen Dokumenten und echten Alltagsfragen. Die KI-Wissensdatenbank von Goma-it setzt genau auf dieses RAG-Prinzip und macht die Testphase mit eigenen Unterlagen zum festen Bestandteil der Einführung – so lässt sich der Nutzen prüfen, bevor eine Entscheidung fällt.