KI-Chatbot Knowledge Optimizer: komplette Anleitung

Öffne Knowledge Optimizer → Knowledge Test, wähle den vorgesehenen Assistenten und „Custom Question“. Ergänze fünf natürliche Formulierungen, die alle den eindeutigen PDF-Fakt `NORDSTERN-42` liefern müssen. Nutze eine direkte Frage, eine höfliche Variante und typische Besuchersprache.

Notiere vor „Start test“ Soll-Fakt, freigegebene Quelle und Bestehensregel. Eine bestandene Antwort muss den exakten Code enthalten, das Northstar-Services-Demo-PDF nennen und darf keine Garantie-, Preis- oder Verfügbarkeitsaussage erfinden.

Lass Quellversion, Rolle, Modell und Temperatur unverändert. Ergänze separat eine unbelegte Garantiefrage für 2028, um sicheren Umgang mit fehlender Information zu prüfen. So wirkt weder eine flüssige Formulierung noch ein geänderter Testaufbau fälschlich wie eine Verbesserung.

Der dokumentierte Lauf zeigt 5 beantwortet, 0 teilweise, 0 unbeantwortet und 100 %. Öffne jedes Ergebnis und prüfe `NORDSTERN-42`, die Benennung des Northstar-Services-Demo-PDFs und das Fehlen erfundener Garantie-, Preis- oder Verfügbarkeitsaussagen.

Bewerte zwei Ebenen getrennt. Prüfe zuerst, ob die richtige Passage abgerufen wurde. Beurteile danach, ob die Antwort korrekt, durch diese Passage belegt, für die Frage ausreichend vollständig und frei von unbelegten Zusätzen ist. Ein Gesamtscore kann eine flüssige Antwort mit schwachen Belegen verbergen.

Damit funktionieren indexiertes PDF und Abruf für den bekannten Fakt. Eine Garantierichtlinie für 2028 ist dadurch nicht belegt. Frage separat danach und erwarte eine sichere „keine Information“-Antwort statt einer Vermutung.

Öffne Optimize für Wissenslücken aus echten Besucher-Gesprächen. Das geprüfte Tutorial-Konto ist leer, weil kontrollierte Knowledge Tests keinen Kundenverkehr erfinden. Wähle produktiv 30 oder 90 Tage, starte „Analyze“, öffne das Originalgespräch und vergleiche jeden Vorschlag vor Annahme mit verantwortlicher Person und maßgeblicher Quelle.

Nutze Audit für eine breitere Prüfung statt für einen bekannten Einzelfehler. Es sucht nach veralteten Fakten, Widersprüchen, dünner Abdeckung und schwacher Struktur. Behandle jeden Fund als priorisierten Prüfpunkt: Lies den betroffenen Auszug, bestätige den neuesten freigegebenen Fakt und entscheide, ob du die Quelle bearbeitest oder den Fund verwirfst. „Save to Inbox“ ist keine automatische Freigabe.

Eine leere Optimize-Ansicht bedeutet nur „kein Gesprächsvorschlag in diesem Zeitraum“, nicht „Wissensbasis perfekt“. Das veröffentlichte echte Klickvideo führt Audit vollständig aus und zeigt das reale Ergebnis. Es bestätigt außerdem, dass kein Fund gespeichert, keine Rolle angewendet und kein Modell automatisch gewechselt wurde.

Öffne Role und erzeuge aus den unbelegten Garantievarianten für 2028 einen Vorschlag. Die sichtbare Variante hält Antworten kurz, verlangt indexierte Belege, verbietet Hochrechnungen und fordert einen Hinweis bei fehlender Information. Das sind sinnvolle Verhaltensregeln.

Eine Rolle kann trotzdem keine Garantierichtlinie erzeugen, die in keiner freigegebenen Quelle existiert. Vergleiche „Current role“, „Proposed role“ und „Rationale“. Entferne Anweisungen, die Supportprozess, Eskalation, Tonalität oder rechtlichen Vorgaben widersprechen.

Lass den Vorschlag unangewendet. Wähle den gespeicherten Fünf-Fragen-Test als A/B-Quelle und vergleiche aktuelle sowie vorgeschlagene Rolle mit identischen Eingaben. So bleibt die Rollenänderung isoliert; gleichzeitige Quellen- oder Modelländerungen würden das Ergebnis unklar machen.

Verwende den letzten Knowledge Test erneut, damit beide Kandidaten dieselben fünf PDF-Fragen erhalten. Der dokumentierte Vergleich zeigt für Vertex Gemini 2.5 Flash und Claude Haiku 4.5 jeweils 100 % Qualität; die Median-Latenz beträgt 2,6 gegenüber 4,4 Sekunden, weshalb hier das aktuelle Modell empfohlen wird.

Öffne vor der Entscheidung die Einzelantworten. Prüfe exakte Fakten, Belegnutzung, sichere Ablehnung, Vollständigkeit und ungewöhnlich langsame Antworten. Vergleiche Kontingent- oder Modellkosten zusätzlich zur Median-Latenz; ein schneller Median darf wiederholte Ausreißer oder schwächeres Sicherheitsverhalten nicht verdecken.

Eine grüne Empfehlung ist kein universeller Sieger. Ergänze den Regressionstest um lange Antworten, Mehrdeutigkeit, Ablehnung, Sprachen und Tool-Nutzung deines Chatbots. Ein Anbieterwechsel kann neue Embeddings und vollständige Neuindexierung erfordern; sichere die Konfiguration und plane diesen Vergleich separat.

Teste exakt dieselben fünf Garantiefragen mit aktueller und vorgeschlagener Rolle. Das dokumentierte Ergebnis lautet 0 % besser, 3 Gleichstände und 2 schlechter. Öffne die verlorenen Paare und prüfe, ob die neue Formulierung ungenauer, weniger hilfreich oder schlechter belegt ist. Nutze „Apply role“ nicht und behalte die aktuelle Rolle.

Gibt es tatsächlich eine Garantie für 2028, ergänze die freigegebene Richtlinie mit Verantwortlichem, Gültigkeit, Umfang und Ausnahmen in einer maßgeblichen Quelle, indexiere neu und wiederhole bekannte sowie unbeantwortbare Testfragen. Gibt es keine Richtlinie, ist ein konsistenter sicherer Fallback oder Human Handoff die richtige Verbesserung – nicht selbstbewusstere Formulierung.

Dokumentiere vor Veröffentlichung Quellversion, Rolle, Modell, Fünf-Fragen-Ergebnis, unbeantwortbare Kontrollfrage und Latenz. Prüfe die Optimization Inbox nach festem Rhythmus und lasse Vorschläge offen, bis eine verantwortliche Person Fakt und gemessenes Regressionsergebnis bestätigt hat.