AI-chatbot Knowledge Optimizer: complete handleiding

Open Knowledge Optimizer → Knowledge Test, kies de gewenste assistent en selecteer Custom Question. Voeg vijf natuurlijke parafrases toe die allemaal het unieke PDF-feit `NORDSTERN-42` moeten opleveren. Neem de directe vraag op, een beleefde variant en formuleringen die een echte bezoeker zou gebruiken.

Noteer het verwachte feit, de goedgekeurde bron en de slaagvoorwaarde voordat u Start test selecteert. Een geslaagd antwoord moet de exacte code bevatten, de demo-PDF van Northstar Services noemen en verzonnen claims over garantie, prijs of beschikbaarheid vermijden.

Behoud dezelfde bronversie, rol, model en temperatuur. Voeg een afzonderlijke, niet-ondersteunde 2028-garantievraag toe om veilig weigergedrag te verifiëren. Dit voorkomt dat een vloeiend antwoord of een gewijzigde testopzet ten onrechte als een verbetering wordt gezien.

De geregistreerde run toont 5 beantwoord, 0 gedeeltelijk, 0 onbeantwoord en een score van 100%. Open elk resultaat en controleer of elk antwoord `NORDSTERN-42` bevat, de demo-PDF van Northstar Services noemt en geen verzonnen claims over garantie, prijs of beschikbaarheid toevoegt.

Evalueer twee lagen afzonderlijk. Vraag eerst of de juiste passage is opgehaald. Beoordeel vervolgens of het antwoord accuraat is, ondersteund wordt door die passage, volledig genoeg is voor de vraag en vrij is van niet-onderbouwde toevoegingen. Een enkele totaalscore kan een vloeiend antwoord verbergen dat op zwak bewijs is gebaseerd.

Dit bewijst dat de geïndexeerde PDF en het retrieval-pad werken voor het bekende feit. Het bewijst niet dat de chatbot een garantiebeleid voor 2028 kent. Stel die niet-ondersteunde vraag afzonderlijk en verwacht een veilige reactie van het type “no information” in plaats van een gok.

Open Optimize om kennishiaten te bekijken die zijn afgeleid uit echte bezoekersgesprekken. Het geverifieerde tutorial-account is leeg omdat gecontroleerde Knowledge Tests geen klantverkeer simuleren. Kies in productie 30 of 90 dagen, voer Analyze uit, open het oorspronkelijke gesprek en verifieer elke suggestie bij de bevoegde eigenaar en bron voordat u deze accepteert.

Gebruik Audit wanneer u een bredere controle nodig heeft in plaats van één bekend probleem. Het scant op verouderde feiten, tegenstrijdigheden, beknopte dekking en een zwakke structuur. Behandel elke bevinding als een prioriteitsitem op een checklist: lees het betreffende fragment, verifieer het meest recente goedgekeurde feit en beslis of u de bron bewerkt of de bevinding afwijst. Gebruik Save to Inbox nooit als automatische goedkeuring.

Lege Optimize-resultaten betekenen “no conversation-derived suggestion in this range”, niet “the knowledge base is perfect”. De gepubliceerde video met echte klikken voert Audit volledig uit en toont het authentieke resultaat. Het verifieert ook dat er geen bevinding is opgeslagen, geen rol is toegepast en geen model automatisch is gewijzigd.

Open Role en gebruik de niet-ondersteunde 2028-garantievarianten om een voorstel te genereren. De zichtbare suggestie houdt antwoorden kort, vereist geïndexeerd bewijs, verbiedt extrapolatie en instrueert de assistent om aan te geven wanneer informatie ontbreekt. Dat zijn verstandige gedragsregels.

Toch kan een rol geen garantiebeleid creëren dat niet in een goedgekeurde bron bestaat. Lees Current role, Proposed role en Rationale naast elkaar. Verwijder elke instructie die conflicteert met uw ondersteuningsproces, escalatiepad, vereiste toon of juridische formulering.

Laat het voorstel ongeactiveerd. Selecteer de opgeslagen test met vijf vragen als A/B-bron en vergelijk het huidige en voorgestelde gedrag op identieke invoer. Dit isoleert de rolwijziging; het gelijktijdig bewerken van de bron of het model zou het toewijzen van het resultaat onmogelijk maken.

Hergebruik de laatste Knowledge Test zodat beide kandidaten dezelfde vijf PDF-vragen ontvangen. De geregistreerde vergelijking toont Vertex Gemini 2.5 Flash en Claude Haiku 4.5 met een kwaliteit van 100%; de mediane latentie is 2.6 seconden voor Gemini en 4.4 seconden voor Claude, waardoor het huidige model wordt aanbevolen voor deze test.

Open de antwoorden per vraag voordat u een beslissing neemt. Controleer exacte feiten, bewijsgebruik, veilige weigeringen, volledigheid en ongebruikelijk trage reacties. Vergelijk zowel het quotum- of modelverbruik als de mediane latentie; een snelle mediaan mag herhaalde trage uitschieters of zwakker veiligheidsgedrag niet verhullen.

Een groene aanbeveling is geen universele winnaar. Breid de regressieset uit met lange antwoorden, ambiguïteit, weigeringen, taal- en toolgebruik-cases die belangrijk zijn voor uw chatbot. Het wisselen van AI-providers kan nieuwe embeddings en een volledige herindexering vereisen, dus maak een back-up van de huidige instellingen en plan die vergelijking apart.

Voer de exacte vijf garantievragen uit tegen de huidige en voorgestelde rol. Het geregistreerde resultaat is 0% beter, 3 gelijk en 2 slechter. Open de verliezende paren om te begrijpen of de nieuwe formulering minder nauwkeurig, minder nuttig of minder veilig onderbouwd is geworden. Laat Apply role onaangeroerd en behoud de huidige rol.

Als het bedrijf daadwerkelijk een 2028-garantie biedt, voeg dan het goedgekeurde beleid—met eigenaar, ingangsdatum, reikwijdte en uitzonderingen—toe aan een gezaghebbende bron, herindexeer en herhaal de tests voor bekende antwoorden en veilige weigeringen. Als er geen beleid bestaat, is de juiste verbetering een consistente veilige terugvaloptie of menselijke overdracht, geen zelfverzekerdere formulering.

Voordat u een wijziging publiceert, noteert u de geaccepteerde bronversie, rol, model, het resultaat van de vijf vragen, het resultaat van de niet-ondersteunde vraag en de latentie. Beoordeel de Optimization Inbox volgens een vast schema en houd suggesties in behandeling totdat een menselijke eigenaar zowel het feit als het gemeten regressieresultaat bevestigt.