Warum KI halluziniert und wie Unternehmen es technisch verhindern

Eine KI behauptet mit voller Überzeugung, dass ein Gesetz existiert, das es nie gab. Sie erfindet eine Studie samt Autor und Jahreszahl. Sie nennt eine Zahl, die perfekt klingt und komplett falsch ist. Willkommen im Phänomen der Halluzination, dem vielleicht meistunterschätzten Risiko beim Einsatz künstlicher Intelligenz im Unternehmen.

Das Beunruhigende daran: Eine halluzinierende KI klingt genauso souverän wie eine korrekte. Der Fehler trägt kein Warnschild. Wie real das Problem ist, zeigt ein öffentlich geführter Tracker, der bis 2026 über 1.900 Gerichtsverfahren zählte, in denen Schriftsätze erfundene, KI-generierte Fundstellen enthielten, viele davon mit Sanktionen für die verantwortlichen Anwälte¹. Umso wichtiger ist es zu verstehen, warum KI überhaupt halluziniert und was man technisch dagegen tun kann.

Halluzination ist kein Defekt, sondern Bauart

Der erste Denkfehler ist die Annahme, eine Halluzination sei ein Bug, der sich einfach wegprogrammieren lässt. Das Gegenteil ist der Fall. Halluzinationen sind eine direkte Folge davon, wie große Sprachmodelle funktionieren.

Ein Sprachmodell versteht Text nicht wie ein Mensch. Es berechnet, welches Wort nach dem bisherigen Text am wahrscheinlichsten folgt, dann das nächste, dann das übernächste. Antwort für Antwort entsteht so aus reiner Wahrscheinlichkeit. Das Modell hat kein inneres Konzept von Wahrheit. Es hat ein Konzept von Passung.

Diese Maschinerie erzeugt erstaunlich gute Sprache. Aber sie erzeugt sie auch dann, wenn das Modell die Antwort gar nicht kennt. Denn ein Sprachmodell sagt selten einfach nichts. Es produziert das Wahrscheinlichste und Wahrscheinlichkeit ist eben nicht dasselbe wie Faktentreue. Genau in dieser Lücke entsteht die Halluzination.

Dass das kein Randphänomen ist, zeigen Messungen. Das Vectara Hallucination Leaderboard testet Modelle bei einer bewusst einfachen Aufgabe, dem Zusammenfassen eines kurzen, mitgelieferten Textes und misst, wie oft die Zusammenfassung nicht faktenkonsistent zur Quelle ist. Selbst die besten Modelle liegen dort bei rund 1,8 bis 3 Prozent, viele gängige Modelle bei 5 bis über 10 Prozent². Und das bei einer Aufgabe, bei der die richtige Antwort direkt vor dem Modell liegt. Bei offenen Fragen ohne mitgelieferten Kontext steigt das Risiko deutlich.

Die vier häufigsten Auslöser

Warum tritt der Effekt in manchen Situationen stärker auf als in anderen? Vier Muster begegnen einem in der Praxis besonders oft.

Wissenslücken im Training.Fragst du nach etwas, das im Trainingsmaterial kaum oder gar nicht vorkam, hat das Modell keinen belastbaren Anker. Statt die Lücke zuzugeben, überbrückt es sie mit plausibel klingender Erfindung.

Veraltetes Wissen.Ein Modell kennt die Welt nur bis zu seinem Trainingsstichtag. Was danach passiert ist, existiert für es nicht. Fragen zu aktuellen Regelwerken oder Zahlen beantwortet es notfalls mit dem, was einmal galt, oder mit einer Mischung, die nie stimmte.

Mehrdeutige Fragen.Je unschärfer die Frage, desto größer der Interpretationsspielraum. Das Modell rät die gemeinte Bedeutung und baut die Antwort auf dieser Vermutung auf. Liegt es daneben, klingt die Antwort trotzdem selbstsicher.

Der Drang zur Vollständigkeit.Sprachmodelle sind darauf trainiert, hilfreich zu wirken. Eine ausführliche Antwort wirkt hilfreicher als ein Eingeständnis von Unwissen. Dieser eingebaute Hang zur Auskunftsfreude ist ein stiller Motor für Erfindungen.

Warum die üblichen Gegenmittel nur halb helfen

Die Branche hat Techniken entwickelt, um Halluzinationen zu dämpfen. Die bekannteste ist RAG, kurz für Retrieval Augmented Generation. Dabei sucht das System vor der Antwort passende Textstellen aus einer Datenbank und gibt sie dem Modell als Kontext mit. Das reduziert Fehler spürbar, weil das Modell nun echte Belege vor sich hat.

Doch RAG löst das Grundproblem nicht vollständig. Denn am Ende formuliert immer noch ein generatives Modell die Antwort. Es kann die gefundenen Textstellen falsch zusammenfassen, Passagen vermischen oder trotz Kontext eigene Ergänzungen einstreuen. Genau das belegt das Leaderboard: Die getesteten Modelle bekommen den Quelltext direkt mitgeliefert und halluzinieren trotzdem². Die Faktenquelle wird besser, der Formulierungsschritt bleibt ein Wahrscheinlichkeitsprozess. Das Restrisiko bleibt.

Auch Prompt-Tricks, Temperaturregler und nachgelagerte Prüfschleifen verschieben die Fehlerquote nach unten, ohne sie auf null zu bringen. Solange ein generatives Modell die letzte Instanz der Antwort ist, bleibt ein Rest Unsicherheit im System. Zwischen breiter Nutzung und unternehmensweiter Skalierung klafft weiterhin eine Lücke: Laut McKinsey nutzen fast neun von zehn Unternehmen AI regelmäßig, unternehmensweit skaliert haben aber erst 44 Prozent von ihnen³. Wie ernst das Thema genommen wird, zeigt dieselbe Befragung an anderer Stelle: Ungenauigkeit gehört zu den meistgenannten AI-Risiken überhaupt, gut die Hälfte der Unternehmen arbeitet aktiv daran, sie zu mindern, häufiger als an Datenschutz oder Regulatorik³.

Der radikalere Weg: Den Antwortraum begrenzen

Was, wenn man das Problem nicht abschwächt, sondern an der Wurzel ausschließt? Genau das ist der Ansatz hinter der validierten Dialog-KI von AI-THINK.

Die Idee ist so einfach wie wirkungsvoll: Wenn das System nur aus freigegebenen, geprüften Inhalten antworten darf, hat es keinen Raum mehr zum Erfinden. Die AI-VI Core Technology (Patent beim DPMA angemeldet) strukturiert Firmenwissen, lässt es fachlich freigeben und stellt es als interaktiven Video-Dialog bereit. Der Avatar improvisiert nicht. Er gibt wieder, was zuvor abgenommen wurde.

Der Unterschied zu RAG ist entscheidend. RAG liefert dem generativen Modell bessere Zutaten und hofft auf ein korrektes Ergebnis. Validierte Dialog-KI ersetzt den freien Formulierungsschritt durch freigegebene Inhalte. Es gibt keine offene Textgenerierung, die entgleisen könnte. Kommt zu einer Frage keine freigegebene Information vor, erfindet das System nichts, sondern macht die Grenze transparent.

Für Unternehmen bedeutet das einen Wechsel der Grundhaltung. Statt zu fragen, wie wahrscheinlich eine Halluzination noch ist, stellt sich die Frage gar nicht mehr, weil der Mechanismus, der Halluzinationen erzeugt, aus dem Antwortpfad entfernt wurde.

Was das im Alltag verändert

In einem Audit zählt jede Aussage. Wird ein Mitarbeiter über den Cybersecurity Coach geschult oder bereitet ein Team mit dem Audit Assistant eine Zertifizierung vor, darf keine erfundene Vorgabe im Umlauf sein. Eine KI, die nur Freigegebenes wiedergibt und jede Antwort zur Quelle zurückführt, macht aus einem Risiko einen Nachweis.

Dazu kommt der Vertrauensgewinn. Mitarbeiter merken schnell, ob ein System zuverlässig ist. Eine KI, die ehrlich auf Wissensgrenzen hinweist, statt Sicherheit vorzutäuschen, wird eher genutzt und ernster genommen.

Fazit

KI halluziniert nicht, weil sie schlecht gebaut ist, sondern weil generative Modelle auf Wahrscheinlichkeit optimieren, nicht auf Wahrheit. Techniken wie RAG mildern das Problem, lösen es aber nicht, solange ein generativer Schritt die Antwort formt.

Wer Halluzinationen wirklich ausschließen will, muss den Antwortraum begrenzen. Genau das leistet validierte Dialog-KI: Sie antwortet nur aus freigegebenen Inhalten und nimmt dem Zufall damit die Bühne.

Du willst KI einsetzen, ohne das Halluzinationsrisiko?

Entdecke AI-VI und erlebe Antworten, die immer auf geprüftem Wissen beruhen. The AI with a human touch.

AI-VI kennenlernen