Halluzinationen vermeiden: wie man Chatbots baut, die bei den Fakten bleibenHalluzinationenvermeiden:wiemanChatbotsbaut,diebeidenFaktenbleiben

Warum Modelle überhaupt halluzinieren

Ein Sprachmodell ist darauf trainiert, zu einer Eingabe die wahrscheinlichste Fortsetzung zu erzeugen. Es hat kein eingebautes Konzept von wahr und falsch, sondern nur von plausibel und unplausibel. Wenn die nötige Information fehlt, produziert es trotzdem eine Fortsetzung – und die klingt genauso souverän wie eine korrekte Antwort, weil der Tonfall aus denselben Mustern stammt.

Das erklärt auch, warum man Halluzinationen nicht „wegtrainieren" kann, indem man dem Modell einfach sagt, es solle ehrlich sein. Die Anweisung hilft am Rand, aber sie ändert nichts am Grundmechanismus. Verlässlichkeit entsteht nicht im Modell, sondern in der Architektur drumherum.

Schicht eins: Antworten nur aus Ihren Inhalten

Der wirksamste Hebel heißt Grounding, technisch umgesetzt per RAG. Der Assistent beantwortet eine Frage nicht aus seinem Trainingswissen, sondern durchsucht zuerst Ihre freigegebenen Inhalte – Produktdaten, Handbücher, Preislisten, gelöste Tickets – und formuliert die Antwort ausschließlich aus den gefundenen Textstellen. Das Modell wird vom Alleswisser zum Zusammenfasser mit Beleg.

Wichtig ist das Wort „ausschließlich". Ein halbherziges RAG, bei dem das Modell die Fundstellen nur als Anregung bekommt und bei Lücken auf sein Trainingswissen zurückfällt, halluziniert munter weiter – nur seltener und dadurch schwerer zu bemerken. Die Anweisung muss hart sein: Was nicht in den Fundstellen steht, wird nicht behauptet.

Wie viel Grounding bringt – und wo es endet –, zeigen zwei Stanford-Studien zu juristischen KI-Tools (2024): Allzweck-Chatbots lagen bei juristischen Testfragen in 58 bis 82 Prozent der Fälle daneben, RAG-gestützte Recherche-Fachtools wie Lexis+ AI noch in gut 17 Prozent der Fälle. Ein gewaltiger Unterschied, aber eben nicht null. Genau deshalb braucht es die weiteren Schichten.

Schicht zwei: Quellenangabe bei jeder Antwort

Jede Antwort unserer Assistenten verweist auf das Dokument und die Stelle, aus der sie stammt. Das hat zwei Effekte. Für den Nutzer wird die Antwort nachprüfbar – ein Klick, und man sieht das Original. Für den Betreiber wird das System kontrollierbar: Eine Antwort ohne belastbare Quelle ist ein Warnsignal, das man automatisch abfangen kann, bevor sie jemanden erreicht.

Quellenangaben sind auch ein ehrlicher Lackmustest beim Anbietervergleich. Wenn ein Chatbot-Produkt keine Quellen zu seinen Antworten zeigen kann, weiß es selbst nicht, worauf seine Antworten beruhen. Das sagt eigentlich alles.

Schicht drei: „Weiß ich nicht" als vollwertige Antwort

Halluzinationen entstehen bevorzugt dort, wo das System um jeden Preis antworten will. Deshalb bauen wir Assistenten so, dass eine ehrliche Auskunft über die eigene Wissenslücke ein normaler, vorgesehener Ausgang ist: Findet die Suche keine ausreichend passenden Fundstellen, sagt der Assistent genau das – und bietet die Übergabe an einen Menschen an, samt bisherigem Verlauf.

Das fühlt sich im ersten Moment nach einem schwächeren Produkt an. Es ist das Gegenteil. Ein Assistent, der bei achtzig Prozent der Fragen belegt richtig antwortet und beim Rest sauber übergibt, ist im Alltag mehr wert als einer, der hundert Prozent beantwortet und dabei eine unbekannte Quote an Erfindungen einstreut.

Schicht vier: Leitplanken für das, was tabu ist

Manche Fehler darf ein Assistent gar nicht erst machen können. Deshalb definieren wir vor dem Start mit jedem Kunden Grenzen, die unabhängig von der Wissensbasis gelten: keine Preiszusagen außerhalb der hinterlegten Preisliste, keine rechtlichen oder medizinischen Auskünfte, keine Aussagen über Mitbewerber, keine Versprechen zu Lieferterminen ohne Datenquelle. Solche Regeln werden nicht nur ins Prompt geschrieben, sondern wo möglich technisch geprüft, bevor eine Antwort das System verlässt.

Was passiert, wenn solche Grenzen fehlen, hat Air Canada 2024 vorgeführt: Der Chatbot der Airline erfand eine Erstattungsregel für Trauerfall-Tarife, und ein kanadisches Tribunal entschied, dass die Zusage trotzdem gilt – rund 812 kanadische Dollar für eine einzige erfundene Antwort, dazu der Spott der Weltpresse. Die Grenzen selbst legen Sie fest, und sie sind nicht statisch: Zeigt sich im Betrieb ein neues Risikothema, wird die Leitplanke nachgezogen.

Schicht fünf: Testen vor dem Start, beobachten danach

Ob die Schichten greifen, zeigt sich nicht in der Demo, sondern im Test mit echten Fragen. Vor jedem Go-Live stellen wir dem System gemeinsam mit dem Kunden einen Katalog realer Fragen aus dem Alltag – inklusive der fiesen: mehrdeutige Formulierungen, Fragen knapp neben der Wissensbasis, Fangfragen zu Dingen, die es nicht wissen kann. Jede Antwort wird gegen die erwartete geprüft. Dieser Fragenkatalog bleibt danach bestehen und läuft bei jeder Änderung an Wissensbasis oder Modell erneut durch.

Nach dem Start kommt die zweite Hälfte der Arbeit: Jede Konversation ist einsehbar, auffällige Antworten werden regelmäßig durchgesehen, und erkannte Lücken fließen zurück in Inhalte und Leitplanken. Halluzinationen eindämmen ist kein Feature, das man einmal kauft, sondern eine Betriebsroutine.

Was ehrlicherweise übrig bleibt

Auch mit allen Schichten bleibt ein Restrisiko: Die Suche kann eine falsche Textstelle für relevant halten, ein Dokument in der Wissensbasis kann selbst veraltet sein, und ein Modell kann eine Fundstelle falsch zusammenfassen. Deshalb gehören kritische Aussagen – Zusagen, Verträge, alles mit Geldfolgen – hinter eine menschliche Freigabe, egal wie gut der Assistent testet. Wer Ihnen einen Chatbot ohne Restrisiko verkauft, verkauft Ihnen ein Märchen. Wer die Risiken benennt und Schicht für Schicht adressiert, verkauft Ihnen ein Werkzeug.