Den Knowledge Optimizer vollständig verwenden
Diagnostiziere eine schwache Antwort, verbessere die richtige Ebene und belege das Ergebnis mit demselben Test.
Eine schwache Antwort kann durch fehlendes Wissen, schlechten Abruf, den Rollen-Prompt oder das Modell entstehen. Der Knowledge Optimizer trennt diese Ebenen, damit du die Ursache statt nur Symptome verbesserst.
Der geprüfte Ablauf dokumentiert zuerst eine erfolgreiche PDF-Baseline, testet danach einen bewusst unbelegten Garantiefall und behält nur Änderungen, die dieselben festen Fragen verbessern.
Das hast du am Ende eingerichtet
- Ein dokumentierter Ausgangsfehler
- Eine gezielte Inhalts-, Rollen- oder Modellverbesserung
- Ein geprüfter Vorher/Nachher-Vergleich und aufgeräumte Inbox
Das brauchst du
- Eine indexierte Wissensbasis
- Eine schwache oder unbeantwortete reale Frage
- Genügend Nachrichtenkontingent für Wiederholungstests
Verbessere die fehlerhafte Ebene
Knowledge Test zeigt abgerufene Belege, Optimize verbessert Quellmaterial, Role das Verhalten, Model Arena isoliert Modellunterschiede und Audit prüft die Gesamtqualität. Die Inbox hält Vorschläge prüfbar.
Ein Anbieterwechsel in der Model Arena entfernt inkompatible Embeddings und erfordert Neuindexierung. Plane das vor einem Vergleich ein.
01–05
Schritt für Schritt einrichten
Vollständige erfolgreiche Baseline dokumentieren
Teste fünf feste PDF-Fragen und halte jedes Ergebnis sichtbar.
Teste im Knowledge Test vor Änderungen an Inhalt, Rolle oder Modell die fünf NORDSTERN-42-Varianten. Das echte Ergebnis hält die Bewertung 5/5 und alle fünf belegten Antworten in einer Ansicht sichtbar. Damit besitzt der spätere negative Garantietest eine bekannte, funktionierende Abruf-Baseline.
Optimize Inbox richtig einordnen
Hier erscheinen Lücken aus echten Gesprächen; kontrollierte Tests erzeugen keinen künstlichen Traffic.
Öffne Optimize, um Vorschläge aus echten Besucher-Gesprächen zu prüfen. Das saubere Tutorial-Konto zeigt bewusst eine leere Inbox, weil nur kontrollierte Knowledge Tests ausgeführt wurden. Prüfe produktiv immer Originalgespräch und maßgebliche Quelle, bevor du einen generierten Inhaltsvorschlag übernimmst.
Rollenvorschlag erzeugen und prüfen
Vergleiche aktuelle Rolle, Vorschlag und Begründung vor dem Test.
Erzeuge aus den fehlgeschlagenen Garantievarianten einen Rollenvorschlag. Das echte Ergebnis zeigt aktuelle und vorgeschlagene Anweisungen samt Begründung. Übernimm ihn noch nicht: Ein plausibler Vorschlag bleibt bis zum A/B-Test mit denselben Fragen nur eine Hypothese.
Gemessene Model-Arena-Ergebnisse vergleichen
Vergleiche Qualität und Median-Latenz bei denselben fünf Fragen.
Der echte Model-Arena-Lauf verwendete dieselben fünf PDF-Prüffragen für Vertex Gemini 2.5 Flash und Claude Haiku 4.5. Beide erreichten 100 %; Gemini lag bei 2,6 s Median-Latenz gegenüber 4,4 s für Claude und wurde deshalb empfohlen. Prüfe vor der Gesamtwertung auch einzelne Antworten.
Schlechtere Rolle nach A/B-Test verwerfen
Eine generierte Änderung ist nicht automatisch besser.
Teste exakt dieselben fünf Fragen mit aktueller und vorgeschlagener Rolle. Das echte A/B-Ergebnis zeigt 0 % besser, 3 Gleichstände und 2 schlechtere Antworten. Übernimm den Vorschlag nicht; behalte die aktuelle Rolle und ergänze die Garantieinformation nur dann in einer maßgeblichen Quelle, wenn es diese Richtlinie wirklich gibt.
Beispiel & Ergebnis
So sieht der echte Praxistest aus
Jedes Tutorial nennt eine feste Eingabe, das erwartete Ergebnis und transparent, was im lokalen Test tatsächlich verifiziert wurde.
Praxisbeispiel: Den Knowledge Optimizer vollständig verwenden
Dieses konkrete Szenario wurde mit dem temporären Tutorial-Konto vollständig ausgeführt.
Konkrete Testeingabe
Wie lautet der eindeutige Prüfcode im hochgeladenen Tutorial-PDF?
Erwartetes Ergebnis
Alle Varianten werden beantwortet und enthalten NORDSTERN-42.
Tatsächlich geprüft
Der echte Wissenstest erreichte 5/5 beantwortet (100 %); jede Antwort enthielt NORDSTERN-42.
Tipps & Tricks
So wird die Einrichtung zuverlässig
Teste mit realistischen Beispielen, dokumentiere deine Ausgangswerte und ändere jeweils nur eine Einstellung. So erkennst du, was die Qualität tatsächlich verbessert.
Pflege einen Regressionstest
Eine Verbesserung für eine Frage darf andere wichtige Fragen nicht verschlechtern. Führe vor Veröffentlichung einen festen Mini-Test aus.
Übernimm Faktenänderungen nie blind
KI-Vorschläge können Ausnahmen oder Daten vereinfachen. Vergleiche jede Faktenänderung mit der maßgeblichen Quelle.
Wenn etwas nicht klappt
Fehlerbehebung
Prüfe Status, Berechtigungen und Testdaten systematisch, bevor du Modell oder Prompt wechselst.
Die erwartete Option fehlt
Prüfe Tarif, Funktionsrechte und ausgewählten Chatbot. Kostenpflichtige oder Beta-Funktionen können ohne erfüllte Voraussetzungen ausgeblendet sein.
Das Testergebnis ist uneinheitlich
Starte die Testkonversation neu, verwende identische Eingaben und ändere jeweils nur eine Einstellung, damit die Ursache messbar bleibt.
Bereit für den Praxistest
Nimm die geprüfte Frage in einen wiederkehrenden Regressionstest auf und prüfe die Optimization Inbox nach festem Rhythmus statt spontan.