Wer sich mit KI für Unternehmen beschäftigt, stößt schnell auf drei Buchstaben: RAG, ausgeschrieben Retrieval-Augmented Generation. Das Thema ist längst kein Konzernthema mehr: Laut Statistik Austria (2025) nutzen 30 Prozent der österreichischen Unternehmen KI-Technologien, 2021 waren es 9 Prozent. Hinter dem sperrigen Namen steckt eine Idee, die sich in einem Satz erklären lässt: Bevor die KI antwortet, schlägt sie in Ihren Dokumenten nach. Das klingt banal, verändert aber, was ein Sprachmodell im Betrieb wert ist. Dieser Beitrag erklärt, wie das technisch funktioniert, ohne Formeln, aber auch ohne die Haken zu verschweigen, an denen RAG-Projekte in der Praxis hängen bleiben.

Das Grundproblem: Das Modell kennt Ihre Firma nicht

Ein Sprachmodell wie die hinter ChatGPT oder vergleichbaren Diensten hat beim Training riesige Mengen öffentlicher Texte gesehen. Ihre Preislisten, Verträge, Handbücher und internen Abläufe waren nicht darunter, und das ist auch gut so. Fragt man das Modell trotzdem nach Ihren Lieferbedingungen, tut es das, was es immer tut: Es erzeugt eine plausibel klingende Antwort. Plausibel klingend und richtig sind zwei verschiedene Dinge; das Erfinden überzeugender Falschantworten wird als Halluzinieren bezeichnet und ist keine Panne, sondern eine Grundeigenschaft dieser Technik.

Es gibt zwei gängige Wege, einem Modell Firmenwissen beizubringen. Der eine ist Fine-Tuning, also Nachtrainieren mit eigenen Daten. Der andere ist RAG. Die beiden werden oft verwechselt, lösen aber unterschiedliche Probleme, dazu später mehr.

Die Idee: erst nachschlagen, dann antworten

RAG lagert das Wissen aus dem Modell aus. Ihre Dokumente bleiben in einer durchsuchbaren Wissensbasis, und der Ablauf bei jeder Frage sieht so aus: Erstens wird die Frage genommen und in der Wissensbasis nach den Passagen gesucht, die inhaltlich am besten passen. Zweitens bekommt das Modell die Frage zusammen mit genau diesen Passagen vorgelegt, mit der Anweisung, nur auf dieser Grundlage zu antworten. Drittens formuliert das Modell die Antwort und kann dabei angeben, aus welchem Dokument und welcher Stelle sie stammt.

Das Modell wird also nicht verändert. Es arbeitet wie ein sprachgewandter Sachbearbeiter, dem man zur Frage die richtige Akte auf den Tisch legt. Die Intelligenz steckt zur Hälfte im Modell und zur Hälfte in der Frage, ob die richtige Akte auf dem Tisch landet.

Wie die Suche funktioniert, in zwei Absätzen

Die Suche in der Wissensbasis ist keine Stichwortsuche. Ihre Dokumente werden vorab in Abschnitte zerlegt, und jeder Abschnitt wird in eine Zahlenfolge übersetzt, die seine Bedeutung repräsentiert, ein sogenanntes Embedding. Abschnitte mit ähnlichem Inhalt bekommen ähnliche Zahlenfolgen. Stellt jemand eine Frage, wird auch die Frage in so eine Zahlenfolge übersetzt, und gesucht werden die Abschnitte, deren Zahlenfolgen der Frage am nächsten liegen.

Der praktische Effekt: Die Suche findet „Urlaubsanspruch", auch wenn im Dokument „Erholungszeiten" steht und der Mitarbeiter nach „freien Tagen" fragt. Genau daran scheitern klassische Volltextsuchen. In der Praxis kombiniert man beide Verfahren trotzdem oft, weil die Stichwortsuche bei exakten Begriffen wie Artikelnummern oder Vertragsnummern zuverlässiger ist als die Bedeutungssuche.

Was RAG besser macht, und was es nicht heilt

Die Vorteile liegen auf der Hand. Antworten stützen sich auf Ihre tatsächlichen Dokumente statt auf Internetwissen. Quellenangaben werden möglich, sodass jede Antwort nachprüfbar ist. Neues Wissen ist sofort verfügbar: Ein aktualisiertes Preisblatt wird neu indexiert, kein Modell muss trainiert werden. Und Zugriffsrechte lassen sich abbilden, weil die Wissensbasis weiß, wer welches Dokument sehen darf.

Was RAG nicht heilt: das Halluzinieren an sich. Findet die Suche nichts Passendes, weil das Wissen fehlt oder die Frage unglücklich formuliert ist, neigt das Modell dazu, die Lücke mit Plausiblem zu füllen. Dagegen hilft nur eine bewusst eingebaute Ausweichantwort, sinngemäß: Dazu finde ich in den Unterlagen nichts. Ein System, das zugeben kann, etwas nicht zu wissen, ist im Betrieb mehr wert als eines, das immer eine Antwort hat. Und wenn in der Wissensbasis Veraltetes oder Widersprüchliches steht, zitiert RAG das Veraltete korrekt mit Quellenangabe. Die Qualität der Antworten ist nach oben durch die Qualität der Dokumente begrenzt.

RAG oder Fine-Tuning? Meist die falsche Frage

Fine-Tuning verändert das Modell selbst, indem es mit eigenen Beispielen nachtrainiert wird. Das ist das richtige Werkzeug, wenn es um das Wie geht: Tonfall, Fachsprache, ein bestimmtes Antwortformat. Es ist das falsche Werkzeug für Faktenwissen, denn nachtrainierte Fakten sind zum Stichtag eingefroren, lassen sich nicht mit Quelle belegen und geraten trotzdem durcheinander. Wer Fine-Tuning einsetzt, um dem Modell die aktuelle Preisliste beizubringen, trainiert bei jeder Preisänderung neu und weiß trotzdem nie sicher, welche Version das Modell gerade wiedergibt.

Für die meisten Anwendungsfälle im Mittelstand lautet die Antwort daher: RAG für das Wissen, Fine-Tuning höchstens ergänzend für Ton und Format, und oft reicht RAG allein. Das ist auch eine Kostenfrage, denn eine Wissensbasis zu pflegen ist deutlich günstiger als wiederholte Trainingsläufe.

Kriterium	RAG	Fine-Tuning
Faktenwissen aktualisieren	Dokument neu indexieren	neuer Trainingslauf
Quellenangabe je Antwort	möglich	nicht möglich
Zugriffsrechte	über die Wissensbasis steuerbar	im Modell nicht steuerbar
Gut geeignet für	Wissen aus Dokumenten	Tonfall, Fachsprache, Format
Kosten bei Änderungen	Pflege der Wissensbasis	wiederholte Trainingsläufe

Woran RAG-Projekte wirklich hängen

Nach unserer Erfahrung entscheidet sich der Erfolg selten an der Modellwahl und fast immer an drei unscheinbaren Stellen:

Datenqualität: Veraltete Handbücher, drei Versionen desselben Prozessdokuments, Wissen, das nur in Köpfen existiert. Das Aufräumen vor dem Indexieren ist der größte Einzelposten im Projekt.
Zerlegung der Dokumente: Wird eine Tabelle mitten durchgeschnitten oder eine Klausel von ihrem Kontext getrennt, findet die Suche später Fragmente statt Antworten. Das ist Handwerk, das man dem jeweiligen Dokumenttyp anpassen muss.
Testen mit echten Fragen: Ob das System taugt, zeigt sich erst an den Fragen, die Ihre Leute tatsächlich stellen, samt Tippfehlern und Umgangssprache. Ein Testkatalog aus solchen Fragen, gegen den jede Änderung geprüft wird, gehört zu jedem seriösen RAG-Projekt.

Und die Daten bleiben Ihre

Ein letzter Punkt, der bei RAG oft untergeht: Weil das Wissen in der Wissensbasis liegt und nicht ins Modell eingebrannt wird, behalten Sie die Kontrolle darüber. Dokumente lassen sich entfernen, Berechtigungen ändern, die gesamte Basis auf eigener Infrastruktur oder in der EU-Cloud betreiben. Genau an dieser Sorge scheitern sonst viele Vorhaben: Von den Unternehmen, die KI erwogen und wieder verworfen haben, nennen laut Statistik Austria (2025) 11 Prozent Datenschutzbedenken als Grund, weitere 11 Prozent rechtliche Unklarheiten. Auch das Modell selbst bleibt austauschbar: Erscheint ein besseres oder günstigeres, wird es angebunden, die Wissensbasis bleibt unverändert. Diese Trennung von Wissen und Modell ist aus unserer Sicht der stärkste, am wenigsten beworbene Vorteil des Ansatzes.