Automatisierung

KI-Halluzinationen: Warum KI erfindet und was dagegen hilft

Ein Sprachmodell schlägt nichts nach. Es sagt vorher, welches Textstück am wahrscheinlichsten folgt — und eine erfundene Lieferfrist entsteht dabei auf demselben Weg wie eine richtige. Dieser Beitrag erklärt die Mechanik verständlich und zeigt, mit welchen Maßnahmen Sie das Risiko im laufenden Betrieb eingrenzen.

Illustration: Die Antwortblase eines KI-Assistenten, deren belegter Teil an ein Quelldokument angebunden ist, während der unbelegte Teil in lose Formen zerfällt.
45 % der KI-Antworten zu Nachrichten mit erheblichem Mangel (EBU/BBC, Oktober 2025) kein Nachschlagen das Modell sagt Text voraus, es prüft nicht 5 Gegenmittel von der Quellenbindung bis zur Stichprobe

Eine KI-Halluzination ist eine falsche Aussage, die ein Sprachmodell überzeugend formuliert. Sie entsteht, weil das Modell das wahrscheinlichste nächste Textstück vorhersagt und nichts nachschlägt. Ganz abstellen lässt sich das nicht. Wirksam eingrenzen können Sie es mit Quellenbindung, Systemabfragen für harte Zahlen, klaren Freigabestufen und regelmäßigen Stichproben.

1. Was ist eine KI-Halluzination?

OpenAI definiert Halluzinationen als „plausible but false statements" — plausible, aber falsche Aussagen eines Sprachmodells. Der Begriff ist unglücklich gewählt, weil er nach Störung klingt. Tatsächlich arbeitet das Modell dabei völlig normal. Es erzeugt genau das, wofür es gebaut wurde: flüssigen, passenden Text.

Wichtig ist die Abgrenzung zur Lüge. Eine Lüge setzt voraus, dass jemand die Wahrheit kennt und bewusst abweicht. Ein Sprachmodell kennt keine Wahrheit. Es besitzt kein internes Verzeichnis geprüfter Fakten, gegen das es seine Ausgabe abgleichen könnte. Deshalb ist auch die verbreitete Frage „Warum lügt die KI?" der falsche Einstieg — sie führt zu Erklärungen, die im Betrieb nichts nützen.

2. Warum Sprachmodelle erfinden — die Mechanik

Ein Sprachmodell lernt im Training, das wahrscheinlichste nächste Textstück vorherzusagen. Es sieht dabei riesige Mengen flüssiger Sprache, aber keine Kennzeichnung, welcher Satz stimmt und welcher nicht. Was es lernt, ist also die Form korrekter Sprache — nicht der Inhalt geprüfter Fakten.

Daraus folgt der Punkt, an dem die meisten Erklärungen aufhören: Eine erfundene Rechtsnorm entsteht im Modell auf exakt demselben Weg wie eine richtige. Beide sind plausible Fortsetzungen des bisherigen Textes. Für das Modell gibt es zwischen „§ 312g BGB" und einer frei erfundenen Paragrafennummer keinen Unterschied in der Kategorie, nur einen in der Wahrscheinlichkeit. Genau deshalb klingen Halluzinationen so überzeugend: Sie sind mit derselben Souveränität formuliert wie alles andere.

Die Forschungsarbeit hinter der OpenAI-Veröffentlichung bringt das auf eine knappe Formel: Lassen sich falsche Aussagen nicht von Fakten unterscheiden, entstehen Halluzinationen in vortrainierten Sprachmodellen „durch natürlichen statistischen Druck". Anders gesagt: Sie sind kein Programmfehler, den jemand übersehen hat, sondern eine Folge der Bauart.

Ein Bild aus derselben Quelle macht klar, warum manche Fehler verschwinden und andere nicht. Rechtschreibung und Klammersetzung folgen festen Mustern — diese Fehler gehen mit größeren Modellen zurück. Ein seltener Einzelfakt dagegen, im Beispiel der Geburtstag eines Haustiers, folgt keinem Muster. Er lässt sich aus Sprachstatistik grundsätzlich nicht ableiten. Genau dort entstehen Halluzinationen, und genau dort liegen auch die Angaben, die in Ihrem Betrieb zählen: Artikelnummern, Fristen, Konditionen, Zuständigkeiten.

Ein zweiter Grund kommt hinzu, und er ist verblüffend banal: Raten lohnt sich. Modelle werden überwiegend danach bewertet, wie viele Fragen sie richtig beantworten. Wer bei Unsicherheit rät, hat eine Chance auf einen Treffer. Wer „das weiß ich nicht" antwortet, bekommt sicher null Punkte. Über tausende Testfragen sieht das ratende Modell besser aus. OpenAI beschreibt genau das als Kern des Problems: Training und Bewertung belohnen das Raten stärker als das Eingeständnis von Unsicherheit.

3. Warum die KI ihre Erfindung auf Nachfrage bestätigt

Viele Anwender prüfen eine zweifelhafte Antwort mit der Rückfrage „Bist du sicher?". Das ist der naheliegendste und zugleich unzuverlässigste Test. Das Modell schlägt bei der Rückfrage nichts nach. Es hat keinen Vorgang, den es erneut aufrufen könnte, denn es hat beim ersten Mal nichts abgerufen — es hat formuliert.

Was auf die Rückfrage folgt, ist deshalb wieder nur die plausibelste Fortsetzung des Dialogs. Und plausibel ist im Zweifel, bei der eigenen Aussage zu bleiben oder — noch problematischer — Ihnen zuzustimmen. Wie stark dieser Zug zur Zustimmung sein kann, hat OpenAI im April 2025 selbst gezeigt: Ein Update für GPT-4o wurde zurückgezogen, weil das Modell „übermäßig unterstützend, aber unaufrichtig" antwortete. Als Ursache nennt OpenAI, man habe sich zu stark an kurzfristigem Nutzerfeedback orientiert.

Für die Praxis heißt das: Ihre Prüfung muss aus dem Gespräch heraustreten. Verlässlich ist nur der Abgleich mit der genannten Fundstelle, mit dem Fachsystem oder mit einem Menschen, der die Sache kennt. Eine zweite Meinung vom selben Modell ist keine zweite Meinung.

4. Warum Halluzinationsraten wenig über Ihr Risiko sagen

„Modell X halluziniert in y Prozent der Fälle" ist der meistzitierte Satz zu diesem Thema und der am wenigsten brauchbare. Solche Zahlen stammen aus Benchmarks mit sehr speziellen Testaufbauten. Sie beschreiben, wie eine bestimmte Modellversion zu einem bestimmten Zeitpunkt auf bewusst schwere Fragen reagiert hat — nicht, wie zuverlässig Ihr Assistent Ihre Kunden berät.

Wie sehr solche Werte in die Irre führen, zeigt eine Tabelle, die OpenAI selbst veröffentlicht hat. Sie vergleicht zwei Modelle auf der Testsammlung SimpleQA, einer Sammlung schwieriger Wissensfragen. Die Werte stammen aus der GPT-5 System Card, veröffentlicht am 5. September 2025:

SimpleQA-Ergebnisse zweier OpenAI-Modelle (Quelle: OpenAI, „Why language models hallucinate", 05.09.2025)
Ergebnis gpt-5-thinking-mini o4-mini (älter)
Keine Antwort gewagt 52 % 1 %
Richtig beantwortet 22 % 24 %
Falsch beantwortet 26 % 75 %

Lesen Sie nur die Trefferquote, gewinnt das ältere Modell knapp: 24 gegen 22 Prozent. Lesen Sie die Fehlerquote, kippt das Bild vollständig. Das ältere Modell antwortet in 75 Prozent der Fälle falsch, das neuere in 26 Prozent. Der Unterschied liegt fast vollständig in der dritten Zeile der Tabelle: Das neuere Modell wagt in mehr als der Hälfte der Fälle gar keine Antwort. Eine einzelne Prozentzahl kann diesen Zusammenhang gar nicht transportieren.

Auch die nach Angaben der Beteiligten größte Untersuchung ihrer Art verlangt sorgfältiges Lesen. Die Europäische Rundfunkunion und die BBC veröffentlichten am 22. Oktober 2025 eine Auswertung, für die Journalistinnen und Journalisten aus 22 Medienhäusern in 18 Ländern und 14 Sprachen über 3.000 Antworten von ChatGPT, Copilot, Gemini und Perplexity bewertet haben. Ergebnis: 45 Prozent der Antworten enthielten mindestens einen erheblichen Mangel, 31 Prozent erhebliche Probleme bei den Quellenangaben, 20 Prozent erhebliche Genauigkeitsmängel einschließlich halluzinierter und veralteter Angaben.

Das ist eine belastbare Zahl — aber für Nachrichtenfragen an allgemeine Assistenten, ohne Anbindung an geprüfte Dokumente, auf dem Modellstand von 2025. Ihr Assistent bekommt andere Fragen, arbeitet auf anderen Daten und ist anders eingerichtet. Die 45 Prozent sagen Ihnen, wie ernst das Thema ist. Sie sagen Ihnen nichts über Ihre Fehlerquote. Die kennen Sie erst, wenn Sie sie selbst gemessen haben — dazu unten mehr.

5. Typische Fälle im Kundenkontakt

Im Kundenkontakt ist nicht der offensichtliche Unsinn gefährlich, sondern die kleine, glaubwürdige Abweichung. Der Ton stimmt, die Struktur stimmt, die Höflichkeit stimmt — nur der Inhalt nicht. Weder Ihr Kunde noch Ihr Mitarbeiter hat einen Anlass, genauer hinzusehen. Diese Muster begegnen uns in Projekten immer wieder:

  • Erfundene Produktmerkmale und Kompatibilitäten. Der Assistent bestätigt, dass ein Gerät zu einem anderen passt, weil beide in ähnlichen Zusammenhängen vorkommen. Die Folge ist eine Retoure, die niemand einkalkuliert hat.
  • Ausgedachte Liefer- und Rückgabefristen. „Sie haben 30 Tage Zeit" ist eine sehr wahrscheinliche Formulierung. Ob in Ihren Bedingungen 14 Tage stehen, weiß das Modell nicht, wenn niemand sie ihm gegeben hat.
  • Falsch zusammengesetzte Preise. Staffelpreise, Zuschläge und Rabatte werden zu einer plausibel wirkenden Summe verrechnet, die es in Ihrer Preisliste nie gab.
  • Erfundene Ansprechpartner und Telefonnummern. Namen und Durchwahlen folgen erkennbaren Mustern — genau deshalb erfindet ein Modell sie besonders leicht und besonders überzeugend.
  • Rechtsauskünfte mit erfundener Fundstelle. Paragrafennummern sehen alle gleich aus. Eine falsche fällt niemandem auf, der sie nicht nachschlägt.
  • Halluzinierte Bestellstatus. Auf die Frage „Wo ist meine Lieferung?" formuliert ein Modell ohne Systemzugriff eine plausible Antwort statt zuzugeben, dass es den Status nicht kennt.

Der letzte Punkt ist der lehrreichste, weil er die Lösung schon enthält: Ein Sprachmodell soll solche Fragen gar nicht beantworten. Es soll sie an das System weiterreichen, das die Antwort kennt. Wie ein Assistent im Service sinnvoll zugeschnitten wird, welche Kanäle sich eignen und was automatisiert gehört, behandelt unser Beitrag zu KI im Kundenservice ausführlicher.

6. Was in der Praxis schon schiefgegangen ist

Belegte Vorfälle helfen mehr als Warnungen, weil sie zeigen, wo die Prüfung tatsächlich ausfällt. Auffällig ist: Es trifft nicht die Unvorsichtigen, sondern Organisationen mit ausgebauten Qualitätsprozessen. Die ARD-Finanzredaktion hat dazu im Juni 2026 mehrere Fälle zusammengetragen.

Ein Bericht von KPMG über den weltweiten KI-Einsatz in Unternehmen enthielt laut Financial Times Fallstudien, die auf Halluzinationen beruhten. KPMG teilte der ARD mit, die Richtigkeitsprüfungen seien nicht ordnungsgemäß durchgeführt worden; man überprüfe derzeit die eigenen Veröffentlichungsprozesse. Bei EY Kanada erwiesen sich per KI gesuchte Quellenangaben einer Studie als fehlerhaft oder falsch. Deloitte Australien musste eine Analyse zum Sozialhilfeprogramm korrigieren, weil sie nicht existierende Quellen und Zitate enthielt. Auftraggeber war ein Ministerium.

Auch in der Wissenschaft zeigt sich das Muster im großen Maßstab: Forschende der Cornell University und der University of California untersuchten 2,5 Millionen wissenschaftliche Artikel und fanden fast 150.000 durch Sprachmodelle gefälschte Zitate. Björn Ommer, KI-Professor an der LMU München, ordnet die Verantwortung dabei klar zu: Ob jemand KI oder einen anderen Computer einsetze, um Daten aufzubereiten — als Autor trage er selbst die Verantwortung für das Ergebnis.

Ein Muster aus dem Kundenkontakt gehört daneben, auch ohne Namensnennung: Ein Assistent auf einer Unternehmensseite erklärt einem Kunden eine Kulanzregel, die es so nicht gibt. Der Kunde handelt danach. Anschließend steht das Unternehmen vor der Frage, ob es zu einer Auskunft steht, die nie jemand freigegeben hat. Diese Klärung kostet regelmäßig mehr Zeit und Geld, als die Vorsorge gekostet hätte.

7. Halluzination oder Angriff? Die Abgrenzung zu Prompt Injection

Beide Begriffe tauchen in denselben Präsentationen auf und meinen völlig Verschiedenes. Eine Halluzination hat keinen Verursacher: Das Modell scheitert an sich selbst. Bei einer Prompt Injection schleust jemand mit Absicht Anweisungen in die Eingabe oder in Inhalte ein, die der Assistent liest. Das eine ist ein Qualitätsproblem, das andere ein Sicherheitsproblem.

Halluzination und Prompt Injection im Vergleich
Frage Halluzination Prompt Injection
Wer verursacht es? niemand — das Modell selbst ein Mensch mit Absicht
Wo entsteht es? in der Vorhersage des nächsten Textes in Eingaben oder eingelesenen Inhalten
Wie sieht das Ergebnis aus? plausible Auskunft, die nicht stimmt der Assistent tut etwas, das er nicht soll
Was hilft zuerst? Quellenbindung und Prüfschritte enge Rechte und Freigaben

Die Unterscheidung ist praktisch relevant, weil sie unterschiedliche Zuständigkeiten hat. Gegen Halluzinationen hilft, woran der Fachbereich arbeitet: gepflegte Dokumente, saubere Datenquellen, Prüfschritte. Gegen Angriffe hilft, woran die IT arbeitet: enge Rechte, getrennte Zugänge, Freigaben für heikle Aktionen. Wer nur eines von beidem tut, hat eine Lücke. Die Angriffsseite behandeln wir gesondert im Beitrag zu Prompt Injection und Schatten-KI.

8. Fünf Gegenmittel gegen KI-Halluzinationen

Es gibt keinen Schalter, der Halluzinationen abstellt. Was es gibt, sind fünf Maßnahmen, die aufeinander aufbauen und das Risiko in jeder Stufe weiter senken. Sie greifen nicht am Modell an, sondern an der Umgebung, in der es arbeitet — und genau deshalb funktionieren sie unabhängig davon, welches Modell Sie einsetzen.

Erstens: Antworten an freigegebene Quellen binden

Der stärkste Hebel ist, dem Modell die Antwort nicht zu überlassen. Beim Grounding sucht das System vor jeder Antwort passende Stellen in Ihren freigegebenen Dokumenten und gibt sie dem Modell mit. Der Assistent formuliert dann aus vorliegenden Belegen, statt aus dem Gedächtnis zu schöpfen. Zwei Details entscheiden über den Nutzen: Die Fundstelle gehört sichtbar an die Antwort, damit jede Aussage prüfbar bleibt. Und „dazu finde ich keine Auskunft" muss eine erlaubte, ausdrücklich erwünschte Antwort sein — sonst reproduzieren Sie im eigenen Haus genau den Anreiz, der Modelle zum Raten bringt.

Wichtig ist die ehrliche Erwartung: Diese Bindung verhindert Halluzinationen nicht, sie senkt das Risiko und macht Fehler überprüfbar. Sind Ihre Dokumente veraltet oder widersprüchlich, gibt der Assistent das getreu wieder. Wie ein solcher Aufbau technisch funktioniert und wie Sie Dokumente dafür vorbereiten, beschreibt unser Beitrag zu Retrieval Augmented Generation im Detail.

Zweitens: Werkzeuge statt Gedächtnis

Bestandsstatus, Preise, Liefertermine und Bestelldaten haben im Sprachmodell nichts verloren. Sie werden abgefragt, nicht formuliert. Technisch bekommt der Assistent dafür Werkzeuge: eine Abfrage an die Warenwirtschaft, an den Shop, an das Ticketsystem. Liefert das Werkzeug keinen Wert, gibt es keine Antwort — und genau das ist das gewünschte Verhalten.

Diese Trennung ist die wirksamste Einzelmaßnahme gegen die peinlichsten Fehler, weil sie eine ganze Fehlerklasse strukturell ausschließt. Über eine falsche Formulierung kann man streiten, über einen falschen Lagerbestand nicht. Wie Assistenten standardisiert an laufende Systeme angebunden werden, erklären wir am Model Context Protocol.

Drittens: Freigabestufen festlegen

Nicht jede Auskunft hat dasselbe Gewicht. Legen Sie deshalb vorab drei Kategorien fest, statt sie im Einzelfall auszuhandeln. Selbst beantworten darf der Assistent unkritische Standardfragen mit klarer Beleglage: Öffnungszeiten, Produktbeschreibungen, Versandwege. Vorschlagen darf er dort, wo ein Mensch schneller wird, aber die Verantwortung behält — etwa als Entwurf für eine Serviceantwort. Immer an einen Menschen gehen Reklamationen, Kulanz, Preiszusagen, Rechtsfragen und alles, was eine Verpflichtung begründet.

Diese Liste ist keine Formalie, sondern die betriebliche Umsetzung Ihrer Risikoentscheidung. Sie gehört auf eine Seite, sie gehört ins Onboarding, und sie gehört regelmäßig überprüft. Bei der Einführung eines Service-Assistenten setzen wir sie mit auf, bevor der erste Kundendialog läuft — Teil unserer KI-Kundenservice-Automation.

Viertens: Systemseitige Leitplanken

Der Aufgabenzuschnitt selbst beeinflusst die Fehlerquote. Ein eng zugeschnittener Assistent für ein Themengebiet halluziniert seltener als ein Alles-Assistent, weil er weniger Gelegenheit dazu bekommt. Dazu kommen Verweigerungsregeln für definierte Themen, vorgegebene Ausgabeformate, die Erfindungen erschweren, und ein zweiter Prüfschritt, der die Antwort gegen die mitgelieferten Quellen abgleicht, bevor sie herausgeht.

Fünftens: Messen statt hoffen

Ohne eigene Messung wissen Sie nicht, ob Ihre Maßnahmen wirken — und die Zahlen aus Benchmarks helfen Ihnen dabei nicht weiter. Der Aufwand ist kleiner, als er klingt:

  • Testfragen mit bekannter Antwort: 50 bis 100 echte Fragen aus Ihrem Alltag, deren richtige Antwort feststeht. Sie laufen nach jeder Änderung erneut durch.
  • Stichproben im laufenden Betrieb: ein fester Anteil echter Dialoge, den ein Mensch wöchentlich gegenliest. Ohne festen Termin passiert es nicht.
  • Protokollierung mit Fundstelle: zu jeder Antwort speichern, aus welchen Quellen sie stammt. Nur so lässt sich ein Fehler nachträglich zurückverfolgen.
  • Eine gemeldete Auffälligkeit ist ein Fund, kein Ärgernis: Mitarbeitende brauchen einen Weg, eine falsche Auskunft zu melden, ohne dass es aufwendig wird.

Wer diese vier Punkte hat, kann eine ehrliche Aussage über die eigene Fehlerquote treffen. Alle anderen zitieren fremde Prozentzahlen.

9. Wer haftet und was gekennzeichnet werden muss

Die Verantwortung wandert nicht mit dem Werkzeug. Wer ein Ergebnis veröffentlicht, verschickt oder einem Kunden zusagt, verantwortet es — unabhängig davon, welches Programm beim Formulieren geholfen hat. Eine KI ist weder Autorin noch Vertragspartnerin. Das ist der Grund, warum Freigabestufen keine Bürokratie sind, sondern die praktische Antwort auf eine Haftungsfrage.

Daneben steht die Kennzeichnung. Artikel 50 der KI-Verordnung regelt Transparenzpflichten und gilt seit dem 2. August 2026. Er betrifft unter anderem den Hinweis, dass Nutzer mit einem KI-System sprechen, die Offenlegung von Deepfakes und die Kennzeichnung veröffentlichter KI-Texte zu Angelegenheiten von öffentlichem Interesse. Welche Rolle dabei Anbieter und welche Betreiber trifft und welche Fälle ausgenommen sind, haben wir im Beitrag zur KI-Kennzeichnungspflicht aufgeschlüsselt.

Hinweis: Dieser Abschnitt ist allgemeine Information und ersetzt keine Rechtsberatung. Der Stand ist der 4. September 2026; Auslegung und Verwaltungspraxis zu Artikel 50 entwickeln sich noch. Für Ihren konkreten Fall ziehen Sie bitte die offiziellen Quellen oder anwaltliche Beratung heran.

10. Fazit: Nicht abstellen, sondern einhegen

KI-Halluzinationen sind kein Defekt, den ein Update behebt. Sie entstehen daraus, dass ein Sprachmodell Text vorhersagt, statt nachzuschlagen — und richtige wie falsche Aussagen auf demselben Weg produziert. Wer darauf wartet, dass das Problem verschwindet, wartet auf das Falsche.

Die gute Nachricht: Das Risiko lässt sich sehr wirksam eingrenzen, und zwar außerhalb des Modells. Antworten an geprüfte Quellen binden, harte Zahlen abfragen statt erzeugen, Freigabestufen festlegen, den Aufgabenzuschnitt eng halten und die eigene Fehlerquote tatsächlich messen. Jede dieser Maßnahmen wirkt für sich; zusammen ergeben sie einen Assistenten, dem Ihre Mitarbeitenden zu Recht vertrauen.

Genau diesen Aufbau begleiten wir: von der Sichtung Ihrer Dokumente über die RAG-Wissensdatenbank bis zu den Testfragen, mit denen Sie den Betrieb dauerhaft im Blick behalten.

KI-Halluzinationen auf einen Blick
  • Was es istüberzeugend formulierte Aussage, die nicht stimmt
  • UrsacheVorhersage des wahrscheinlichsten Textes, kein Nachschlagen
  • Nicht dasselbe wiePrompt Injection — das ist ein Angriff von außen
  • Stärkster HebelAntworten an freigegebene Quellen binden, Zahlen abfragen
  • Restrisikobleibt — deshalb Freigabestufen und Stichproben

11. Häufige Fragen zu KI-Halluzinationen

Was ist eine KI-Halluzination?

Eine KI-Halluzination ist eine Aussage, die ein Sprachmodell überzeugend formuliert, obwohl sie nicht stimmt. Das Modell lügt nicht, denn es hat kein Bild von wahr und falsch. Es setzt Text fort, der zu Ihrer Frage statistisch passt. Klingt die Erfindung plausibel, gibt es keinen inneren Alarm.

Warum halluzinieren Sprachmodelle überhaupt?

Sprachmodelle lernen, das wahrscheinlichste nächste Textstück vorherzusagen. Im Training sehen sie fast nur korrekt formulierte Sprache, aber keine Kennzeichnung, welche Aussage falsch ist. Seltene Einzelfakten wie eine Paragrafennummer lassen sich aus Sprachmustern nicht ableiten. OpenAI beschreibt Halluzinationen deshalb als Ergebnis statistischen Drucks, nicht als Programmfehler.

Halluziniert ChatGPT auch?

Ja. OpenAI schreibt selbst, dass ChatGPT halluziniert und dass GPT-5 zwar deutlich seltener falsch liegt, Fehler aber weiterhin auftreten (Stand: September 2025). Das gilt für alle großen Sprachmodelle gleichermaßen. Entscheidend ist deshalb nicht die Modellwahl, sondern wie Sie Antworten an Quellen binden und prüfen.

Wie kann man KI-Halluzinationen vermeiden?

Ganz vermeiden lässt sich das nicht, eingrenzen sehr wohl. Wirksam sind vier Hebel: Antworten nur aus freigegebenen Dokumenten mit Fundstelle, harte Zahlen per Systemabfrage statt aus dem Modell, klare Freigabestufen für heikle Themen und regelmäßige Testfragen mit bekannter Antwort. Erst zusammen ergeben sie ein belastbares Netz.

Wie oft halluziniert eine KI?

Dazu kursieren Prozentzahlen, die kaum etwas über Ihren Betrieb aussagen. Sie stammen aus Benchmarks mit bewusst schweren Wissensfragen und gelten für eine bestimmte Modellversion. Ihr Assistent beantwortet andere Fragen auf anderer Datenbasis. Aussagekräftig ist nur eine eigene Messung mit Testfragen aus Ihrem Alltag.

Hilft die Rückfrage, ob die KI sicher ist?

Kaum. Das Modell prüft bei der Rückfrage nichts nach, sondern setzt den Dialog plausibel fort. OpenAI musste im April 2025 sogar ein Update zurückziehen, weil das Modell zu zustimmend antwortete. Verlässlich ist nur der Abgleich mit der genannten Fundstelle oder mit dem Fachsystem.

Verhindert RAG Halluzinationen?

Nein, RAG senkt das Risiko und macht Fehler überprüfbar. Der Assistent antwortet aus freigegebenen Dokumenten und nennt die Fundstelle, sodass jede Aussage nachvollziehbar bleibt. Sind Dokumente veraltet, widersprüchlich oder lückenhaft, gibt der Assistent genau das wieder. Die Datenpflege bleibt damit Ihre wichtigste Aufgabe.

Wer haftet für eine falsche KI-Auskunft?

Verantwortlich bleibt, wer die Auskunft veröffentlicht oder verschickt. Eine KI ist kein Autor und kein Vertragspartner. Wer einen Assistenten im Kundenkontakt betreibt, sollte deshalb festlegen, welche Themen er selbst beantworten darf. Zu Kennzeichnungspflichten nach Artikel 50 der KI-Verordnung gibt es einen eigenen Beitrag. Keine Rechtsberatung.

12. Quellen & Belege

Die Angaben in diesem Beitrag stützen sich auf die folgenden Quellen, die alle am 4. September 2026 geprüft wurden. Externe Quellen öffnen in einem neuen Tab.

Weiterlesen

Verwandte Artikel zu Automatisierung

Automatisierung

Retrieval Augmented Generation

Wie ein Assistent aus Ihren eigenen Dokumenten antwortet und die Fundstelle mitliefert.

11 Min. Lesezeit

Automatisierung

Prompt Injection & Schatten-KI

Der andere Fehlerfall: Wenn jemand dem Assistenten von außen Anweisungen unterschiebt.

19 Min. Lesezeit

Automatisierung

KI im Kundenservice

Chatbots, E-Mail-Automatisierung und Ticket-Routing — wo KI im Service wirklich hilft.

7 Min. Lesezeit