Die häufigste Sorge, die wir in Erstgesprächen zu KI hören, ist nicht der Preis und nicht die Technik. Es ist der Kontrollverlust: Was, wenn das Ding etwas Falsches an einen Kunden schickt? Die Sorge ist berechtigt, denn Sprachmodelle machen Fehler, und sie machen sie mit derselben souveränen Formulierung wie ihre richtigen Antworten. Die Antwort darauf ist aber nicht, auf KI zu verzichten. Sie ist eine Architekturfrage: Man baut die Automatisierung so, dass die KI vorschlägt und Menschen entscheiden, und zwar genau an den Stellen, an denen es darauf ankommt.

Warum „Human in the Loop" mehr ist als ein Okay-Button

Der Fachbegriff für Abläufe mit menschlicher Kontrolle heißt Human in the Loop, und er wird oft missverstanden als: Vor jede Aktion kommt ein Bestätigen-Knopf. Das ist die schlechteste Umsetzung, denn ein Knopf, den man hundertmal am Tag drückt, wird nach zwei Wochen blind gedrückt. Die Kontrolle existiert dann nur noch auf dem Papier.

Eine brauchbare Umsetzung stellt eine andere Frage: Welche Entscheidungen brauchen tatsächlich ein menschliches Urteil, und welche nicht? Das Zuordnen einer E-Mail in eine Kategorie braucht keins, das lässt sich im Nachhinein korrigieren. Das Absenden eines Angebots braucht eins. Die Kunst liegt darin, diese Linie bewusst zu ziehen, statt entweder alles oder nichts freizugeben.

Wie selten diese Linie bewusst gezogen wird, zeigt die globale „State of AI"-Umfrage von McKinsey (2025): Nur 27 Prozent der Unternehmen, die generative KI einsetzen, lassen sämtliche KI-Ergebnisse vor der Verwendung von Menschen prüfen. Ein etwa gleich großer Teil prüft höchstens ein Fünftel davon. Der Rest liegt irgendwo dazwischen, oft ohne dass es je jemand entschieden hätte.

Das Werkzeug dahinter: Konfidenzschwellen

Sprachmodelle lassen sich so einsetzen, dass sie zu ihren Ergebnissen eine Einschätzung der eigenen Sicherheit liefern, oder dass nachgelagerte Prüfungen diese Sicherheit bewerten: Passen die extrahierten Werte zusammen? Widerspricht das Ergebnis den Stammdaten? Daraus entsteht die wichtigste Weiche im ganzen Workflow: Sichere Fälle laufen durch, unsichere gehen an einen Menschen.

Ehrlicherweise muss man dazusagen: Die Selbsteinschätzung eines Modells ist kein Messinstrument. Modelle sind manchmal von falschen Antworten überzeugt. Deshalb kombinieren wir sie immer mit harten, programmierten Prüfungen, die nicht verhandelbar sind: Summen müssen aufgehen, Referenzen müssen existieren, Beträge über einem Grenzwert gehen immer zur Freigabe, egal wie sicher sich das Modell fühlt.

Drei Stufen der Kontrolle, je nach Risiko

In der Praxis hat sich eine einfache Dreiteilung bewährt, die pro Aktionstyp festgelegt wird. Sie sieht so aus:

Stufe	Wofür	Beispiele	Rolle des Menschen
Automatisch mit Protokoll	Risikoarme, korrigierbare Schritte	Kategorisieren, Ablegen, Daten anreichern	Stichproben und Korrektur im Nachhinein
Entwurf mit Freigabe	Alles, was das Haus verlässt oder Geld bewegt	Angebote, Kundenantworten, Buchungen	Eine benannte Person prüft und gibt frei
Immer manuell	Ermessensspielraum oder rechtliches Gewicht	Kulanzfragen, Personalthemen, Vertragsänderungen	Der Mensch entscheidet, die KI liefert höchstens Zuarbeit

Das unterschätzte Problem: Freigabemüdigkeit

Wer Freigaben einbaut, muss auch mit ihrem Verschleiß rechnen. Wenn neun von zehn Vorschlägen der KI gut sind, gewöhnt sich der Mensch ans Durchwinken, und der zehnte, fehlerhafte rutscht mit durch. Das ist keine Charakterschwäche des Mitarbeiters, sondern vorhersehbares Verhalten, und ein guter Workflow plant dagegen.

Konkret heißt das: Die Freigabemaske zeigt nicht nur das Ergebnis, sondern die Grundlage daneben, etwa das Originaldokument neben den erkannten Werten, damit Prüfen schneller geht als Vertrauen. Auffällige Fälle werden markiert statt einsortiert. Und die Menge muss stimmen: Wenn ein Mensch täglich vierhundert Freigaben abarbeiten soll, ist nicht der Mensch das Problem, sondern die Schwelle falsch gesetzt.

Ohne Protokoll keine Kontrolle

Die zweite Säule neben den Freigaben ist die Nachvollziehbarkeit. Jeder Schritt des Workflows gehört aufgezeichnet: Was kam herein, was hat das Modell erkannt, welche Prüfungen liefen, wer hat wann freigegeben, was wurde ausgeführt. Das klingt nach Bürokratie, ist aber die Grundlage für alles Weitere. Ohne Protokoll lässt sich ein Fehler nicht zurückverfolgen, eine Beschwerde nicht klären und gegenüber der Revision oder dem Steuerberater nichts belegen.

Das Protokoll hat noch einen zweiten Nutzen, der oft übersehen wird: Es ist das Messinstrument für die Qualität des Workflows selbst. Aus den Korrekturen der Mitarbeiter sieht man, wo das Modell systematisch danebenliegt, und kann gezielt nachbessern, statt auf Zuruf.

Kontrolle ist kein Übergangszustand

Man könnte meinen, die Freigaben seien Stützräder, die man abmontiert, sobald die KI gut genug ist. Für manche Schritte stimmt das: Wenn die Protokolle über Monate zeigen, dass eine bestimmte Fallgruppe praktisch immer korrekt durchläuft, kann man die Schwelle für genau diese Gruppe senken. Das ist eine Entscheidung auf Basis von Daten, und sie bleibt umkehrbar.

Für andere Schritte gilt das nie. Was rechtlich bindet, Geld bewegt oder Kundenbeziehungen berührt, behält seine Freigabe, unabhängig davon, wie gut das Modell wird. Nicht weil die Technik es nicht könnte, sondern weil die Verantwortung nicht delegierbar ist. Eine KI kann keinen Fehler verantworten; das kann nur die Organisation, die sie einsetzt. Automatisierung, die man kontrollieren kann, heißt am Ende genau das: Man weiß jederzeit, was sie tut, man kann eingreifen, und die Entscheidungen mit Gewicht tragen weiterhin einen Namen.