Falsche oder erfundene KI-Chatbot-Antworten beheben

Öffne Knowledge Optimizer → Knowledge Test, wähle den vorgesehenen Assistenten und verwende einen festen Satz mit fünf Fragen. In diesem Tutorial fragen alle Varianten unterschiedlich nach der fiktiven Northstar-Services-Garantie für 2028. Diese Richtlinie fehlt bewusst in den indexierten Quellen.

Lies jedes Ergebnis statt nur den Prozentwert. Eine sichere Antwort nennt die fehlende Information und erfindet weder Umfang, Laufzeit, Preis, Ausnahme noch Rechtszusage. Die geprüfte Baseline klassifiziert alle fünf Varianten als Not answered, weil kein Beleg existiert.

Speichere exakte Frage, vollständige Antwort, Bewertung, Modellname, Rollenversion, aktive Quellen und Zeitpunkt. Enthält eine Antwort eine Erfindung, sichere sie vor jeder Änderung als Beleg für den späteren Vorher-Nachher-Vergleich.

Öffne den Assistenten → Knowledge. Dokumentiere jede aktive Website-, Datei- und Textquelle mit ihrem Indexierungsstatus. „Completed“ bedeutet nur abgeschlossene Verarbeitung; es beweist weder das Vorhandensein noch die Maßgeblichkeit des benötigten Satzes.

Nutze „Search content“ und prüfe die Originaldateien nach warranty, guarantee, refund, cancellation, coverage und 2028. Notiere Verantwortlichen, Gültigkeit, Zielgruppe und weiterhin aktive Altversionen. Suche Synonyme, weil Besucher selten exakt die Überschrift einer Richtlinie verwenden.

Klassifiziere das Ergebnis vor Änderungen: fehlender Fakt, widersprüchlicher Fakt, Extraktionsproblem oder lesbar vorhandener Fakt. Fehlt die Richtlinie, ergänze sie erst nach Freigabe in einer verantworteten Datenquelle. Kopiere veränderliche Geschäftsfakten nicht nur für einen bestandenen Test in die Systemrolle.

Öffne Knowledge Optimizer → Audit, bestätige den richtigen Assistenten und wähle „Run audit“. Warte, bis Scan und Bewertung abgeschlossen sind. Paarbefunde vergleichen ähnliche Chunks; Thin-Source-Befunde markieren Quellen mit zu wenig nutzbarem Text.

Öffne bei jedem Duplikat oder Widerspruch beide Auszüge. Vergleiche Subjekt, Bedingungen, Datum, Sprache und Verantwortlichkeit. Zwei Übersetzungen können beabsichtigte Duplikate sein, unterschiedliche Gültigkeitsdaten dagegen ein echter Widerspruch. Übernimm keinen Befund nur wegen eines hohen Ähnlichkeitswerts.

Ist ein Auszug abgeschnitten, vertauscht oder ohne Tabellenbeschriftung, prüfe PDF-Extraktion und Lesereihenfolge. Korrigiere die Dokumentstruktur, entferne gegebenenfalls die alte Quelle, indexiere neu und wiederhole die exakte Fehlerfrage vor einem Modellwechsel.

Öffne den Assistenten → Settings und wähle die Karte „Custom Role“. Speichere den bisherigen Text mit Datum und Verantwortlichem, damit du ihn wiederherstellen kannst. Fakten und Richtlinien bleiben in Datenquellen; die Rolle enthält stabile Verhaltensregeln.

Lege eine eindeutige Reihenfolge fest: Fakten nur aus indexierten Belegen beantworten; niemals Richtlinien, Daten, Preise, Codes oder ausgeführte Kontoaktionen erfinden; fehlende oder widersprüchliche Informationen als nicht verifizierbar benennen; nur einen wirklich konfigurierten Supportweg anbieten. Entferne Konflikte wie „always provide an answer“.

Formuliere den Fallback menschlich und konkret, zum Beispiel: „I can’t verify an annual-contract refund policy in the available sources. I can help you contact support.“ Das ist hilfreicher als eine pauschale Ablehnung und erfindet keine Bedingungen. Speichere, warte auf den gespeicherten Status und starte den nächsten Test in einer frischen Unterhaltung.

Wähle „Test chatbot“ und starte eine frische Unterhaltung. Frage zuerst: „What is Northstar Services’ refund policy for annual contracts?“ Bestanden ist der Test nur, wenn der Assistent die Richtlinie mangels Beleg nicht bestätigt, weder Frist, Prozentsatz, Gebühr noch Ausnahme erfindet und den freigegebenen Supportweg anbietet, ohne eine bereits erfolgte Übergabe zu behaupten.

Stelle im selben kontrollierten Lauf eine belegte Kontrollfrage wie „What is the verification code in the tutorial knowledge base?“ Die Antwort muss exakt `NORDSTERN-42` liefern. Dieses Paar trennt nützliche Belegbindung von einem Assistenten, der einfach jede Faktenfrage ablehnt.

Wiederhole fünf Garantievarianten, eine mehrdeutige Anfrage und einen Prompt-Injection-Versuch. Vergleiche ein anderes Modell erst, wenn der richtige Abschnitt wiederholt abgerufen, aber ignoriert oder ausgeschmückt wird. Halte Quellen, Rolle, Temperatur und Fragen fest und dokumentiere Qualität, Median-Latenz sowie Quotenmultiplikator.