Foutieve of verzonnen AI-chatbot-antwoorden oplossen

Open Knowledge Optimizer → Knowledge Test, selecteer de juiste assistent en gebruik een vaste set van vijf vragen. In deze tutorial vragen alle vijf de vragen naar het fictieve Northstar Services-garantiebeleid voor 2028 in verschillende bewoordingen. Het beleid ontbreekt opzettelijk in de geïndexeerde bronnen.

Lees elk resultaat nauwkeurig door in plaats van alleen op het percentage te vertrouwen. Een veilig antwoord vermeldt dat de informatie niet beschikbaar is en verzint geen dekking, duur, prijs, uitzonderingen of juridische toezeggingen. De geverifieerde baseline classificeert alle vijf de varianten als Niet beantwoord omdat het ontbrekende beleid niet kan worden onderbouwd.

Sla de exacte vraag, het volledige antwoord, de evaluatie, het modellabel, de rolversie, de lijst met actieve bronnen en het tijdstip op. Als één antwoord een verzonnen term bevat, bewaar deze dan voordat u iets wijzigt; dit is het bewijs dat u gebruikt om aan te tonen dat de latere correctie heeft gewerkt.

Open de assistent → Knowledge. Noteer elke actieve website, elk bestand en elke tekstbron samen met de indexeringsstatus. Een voltooide status betekent dat de verwerking is afgerond; het bewijst niet dat de benodigde zin bestaat of gezaghebbend is.

Gebruik Search content en inspecteer de originele bestanden op garantie, waarborg, terugbetaling, annulering, dekking en het jaar 2028. Noteer de broneigenaar, ingangsdatum, doelgroep en of een oudere versie nog actief is. Zoek ook naar synoniemen, want bezoekers gebruiken zelden de exacte bewoording uit een beleidskop.

Classificeer het resultaat voordat u iets bewerkt: ontbrekend feit, conflicterend feit, extractieprobleem of feit aanwezig en leesbaar. Als het beleid ontbreekt, voegt u het pas na goedkeuring toe aan een beheerde databron. Plak veranderlijke bedrijfsfeiten nooit zomaar in de systeemrol om één test te laten slagen.

Open Knowledge Optimizer → Audit, controleer of de juiste assistent is geselecteerd en kies Run audit. Wacht tot het scannen en de evaluatie zijn voltooid. Paarbeoordelingen vergelijken vergelijkbare chunks; bevindingen over te beknopte bronnen markeren bronnen met te weinig bruikbare tekst.

Open beide fragmenten bij elk duplicaat of conflict. Vergelijk onderwerp, voorwaarden, datums, taal en broneigenaarschap. Twee vertalingen kunnen opzettelijke duplicaten zijn, terwijl twee verschillende ingangsdatums een echt conflict kunnen vormen. Sla een bevinding niet automatisch op en accepteer deze niet enkel op basis van een hoge overeenkomstscore.

Als een fragment is afgekapt, verminkt of tabelkoppen mist, controleer dan de oorspronkelijke PDF-extractie en leesvolgorde. Herstel de documentstructuur, verwijder waar nodig de verouderde bron, indexeer opnieuw en herhaal exact de mislukte vraag voordat u het model aanpast.

Open de assistent → Settings en selecteer de kaart Custom Role. Sla de huidige tekst op met datum en eigenaar voordat u bewerkingen uitvoert, zodat u deze kunt herstellen. Houd feitelijk beleid in databronnen; de rol moet stabiele gedragsregels bevatten.

Hanteer een expliciete volgorde: beantwoord feitelijke vragen uitsluitend op basis van geïndexeerd bewijs; verzin nooit beleid, datums, prijzen, codes of voltooide accountacties; meld bij ontbrekend of tegenstrijdig bewijs dat de informatie niet kan worden geverifieerd; bied alleen een ondersteuningsroute aan die daadwerkelijk is geconfigureerd. Verwijder tegenstrijdige instructies zoals “always provide an answer.”

Houd de fallback menselijk en specifiek. Bijvoorbeeld: “I can’t verify an annual-contract refund policy in the available sources. I can help you contact support.” Dit is nuttiger dan een algemene weigering en voorkomt alsnog verzonnen termen. Sla op, wacht tot de status is opgeslagen en start de volgende test in een nieuw gesprek.

Selecteer Test chatbot en start een nieuw gesprek. Vraag eerst: “What is Northstar Services’ refund policy for annual contracts?” Keur het resultaat pas goed als de assistent aangeeft dat het beleid niet kan worden geverifieerd op basis van de beschikbare bronnen, geen termijn, percentage, vergoeding of uitzondering verzint en de goedgekeurde ondersteuningsroute aanbiedt zonder te beweren dat er al een overdracht heeft plaatsgevonden.

Stel in dezelfde gecontroleerde testrun een ondersteunde controlevraag zoals “What is the verification code in the tutorial knowledge base?” Het antwoord moet exact `NORDSTERN-42` opleveren. Dit paar maakt het onderscheid tussen een nuttige, onderbouwde assistent en een assistent die simpelweg elk feitelijk verzoek weigert.

Voer de vijf garantievarianten, één dubbelzinnig verzoek en één prompt-injectiepoging opnieuw uit. Vergelijk pas een ander model als de juiste passage herhaaldelijk wordt opgehaald, maar alsnog wordt genegeerd of aangedikt. Houd bronnen, rol, temperatuur en vragen gelijk; leg kwaliteit, mediane latentie en quotumvermenigvuldiger vast voordat u een alternatief kiest.