Chatbot-Halluzinationen und falsche Antworten reduzieren
Diagnostiziere Inhalt, Abruf, Anweisung oder Modell als Ursache, bevor du Änderungen vornimmst.
„Halluzination“ bezeichnet oft verschiedene Fehler: Der Fakt fehlt, widerspricht sich, wurde schlecht extrahiert, nicht abgerufen oder ignoriert. Jede Ursache braucht eine andere Lösung.
Beginne mit einer exakt reproduzierbaren Fehlerfrage und prüfe die Belege, bevor du Modell oder Prompt verschärfst.
Das hast du am Ende eingerichtet
- Eine klassifizierte Ursache für eine falsche Antwort
- Eine gezielte Quellen-, Abruf- oder Prompt-Korrektur
- Ein Regressionstest gegen Wiederholung
Das brauchst du
- Exakte falsche Frage und Antwort
- Zugriff auf Quellen und Knowledge Test
- Vom Inhaltsverantwortlichen freigegebene Soll-Antwort
Verfolge den Belegpfad
Eine belegte Antwort braucht maßgeblichen Quelltext, korrekte Extraktion, sinnvolle Abschnitte, relevanten Abruf und Belegregeln. Ein stärkeres Modell wirkt nur auf die letzte Stufe.
Widersprüchliche aktuelle und veraltete Quellen sind besonders riskant, weil der Abruf beide Versionen legitim finden kann.
01–05
Schritt für Schritt einrichten
Fehler reproduzieren und sichern
Sichere Frage, Antwort, Zeit und Chatbot-Zustand.
Starte die Konversation neu, stelle die exakte Frage und sichere falsche Antwort mit Modell, Prompt-Version und Quellenstatus. Arbeite nicht aus einer ungefähren Erinnerung.
Quellenwahrheit und Widersprüche prüfen
Finde fehlende, doppelte oder veraltete Fakten.
Suche in allen aktiven Quellen nach Soll-Fakt und Alternativen. Entferne alte Richtlinienversionen, Druckseiten, Übersetzungsduplikate und widersprüchlichen manuellen Text vor der Neuindexierung.
Extraktion und abgerufene Abschnitte prüfen
Prüfe, ob das Modell nützliche Belege erhielt.
Prüfe bei PDFs auswählbaren Text oder OCR, Tabellenreihenfolge und Überschriften. Untersuche im Knowledge Test die abgerufenen Abschnitte: Fehlende Belege bedeuten Inhalts-/Abrufarbeit, vorhandene Belege eher Prompt-/Modellarbeit.
Sichere Beleg- und Enthaltungsregel ergänzen
Lege Verhalten ohne Beleg fest.
Ergänze eine knappe Systemanweisung, Unternehmensfakten nur aus indexierten Belegen zu beantworten, fehlendes Wissen zu benennen und den freigegebenen Eskalationsweg anzubieten. Erzwinge nicht auf jede Frage eine Antwort.
Regression ausführen und erst dann Modelle vergleichen
Belege die Korrektur und schütze verwandte Fragen.
Teste Originalfrage sowie verwandte, mehrdeutige und unbeantwortbare Varianten. Vergleiche Modelle nur, wenn korrekte Belege zuverlässig vorhanden, aber falsch verarbeitet sind; dokumentiere Verbesserung gegen Quote und Latenz.
Beispiel & Ergebnis
So sieht der echte Praxistest aus
Jedes Tutorial nennt eine feste Eingabe, das erwartete Ergebnis und transparent, was im lokalen Test tatsächlich verifiziert wurde.
Praxisbeispiel: Chatbot-Halluzinationen und falsche Antworten reduzieren
Dieses konkrete Szenario wurde mit dem temporären Tutorial-Konto vollständig ausgeführt.
Konkrete Testeingabe
Wie lautet die Rückerstattungsrichtlinie von Northstar Services für Jahresverträge?
Erwartetes Ergebnis
Der Bot weist auf fehlende Quellen hin, statt zu raten.
Tatsächlich geprüft
Der Live-Assistent erklärte, dass in den verfügbaren Informationen keine Rückerstattungsrichtlinie vorhanden ist, und erfand keine Bedingungen.
Tipps & Tricks
So wird die Einrichtung zuverlässig
Teste mit realistischen Beispielen, dokumentiere deine Ausgangswerte und ändere jeweils nur eine Einstellung. So erkennst du, was die Qualität tatsächlich verbessert.
Nutze eindeutige Gültigkeitsdaten
Richtlinien und Preise brauchen Version oder Gültigkeitsdatum, damit aktuelle Inhalte von Archiven unterscheidbar sind.
Teste sicheres Nichtwissen
Ein Assistent, der unbelegte Aussagen korrekt ablehnt, ist zuverlässiger als einer, der immer vollständig klingt.
Wenn etwas nicht klappt
Fehlerbehebung
Prüfe Status, Berechtigungen und Testdaten systematisch, bevor du Modell oder Prompt wechselst.
Die erwartete Option fehlt
Prüfe Tarif, Funktionsrechte und ausgewählten Chatbot. Kostenpflichtige oder Beta-Funktionen können ohne erfüllte Voraussetzungen ausgeblendet sein.
Das Testergebnis ist uneinheitlich
Starte die Testkonversation neu, verwende identische Eingaben und ändere jeweils nur eine Einstellung, damit die Ursache messbar bleibt.
Bereit für den Praxistest
Klassifiziere jede negative Rückmeldung nach Fehlerart. Wiederholte Klassen zeigen, welcher Quellen-, Extraktions- oder Evaluationsprozess systemisch verbessert werden muss.