Hoe test je een AI-chatbot: foutieve antwoorden vinden en oplossen met de Bot Check
Met één klik stelt de AI tot wel 15 vragen aan je chatbot. Je ziet elk foutief antwoord met de oorzaak, voegt het ontbrekende antwoord toe en de vraag wordt direct opnieuw gesteld.
Hoe test je een AI-chatbot zonder testcases te schrijven: met één klik stelt het systeem de vragen die je klanten stellen, en de pagina toont welke antwoorden misgingen.
Een chatbot laat je zelden weten wanneer hij faalt. De bezoeker stelt een vraag, krijgt geen echt antwoord en vertrekt weer. De Bot Check draait dat om: de AI stelt tot 15 vragen aan je chatbot, beoordeelt elk antwoord en legt in één zin uit waarom een antwoord misging. Je voegt het ontbrekende antwoord op dezelfde pagina toe, waarna de vraag meteen opnieuw wordt gesteld.
Deze handleiding volgt één voorbeeld van begin tot eind: Northstar Services, een klein IT-bedrijf. Elk scherm is afkomstig uit een echt lokaal testdashboard en elk antwoord is een echt antwoord van de chatbot. Het bedrijf en de bezoekers zijn fictief.
Speelt hier direct af, zonder derden
Hoe test je een AI-chatbot en los je foutieve antwoorden op (Bot Check-handleiding)
Hoe test je een AI-chatbot met typische en echte bezoekersvragen, zie je waarom een antwoord misging en voeg je het ontbrekende antwoord toe met de Bot Check.
Wat u aan het einde heeft bereikt
- Je weet hoeveel van de vragen van je klanten je chatbot correct beantwoordt
- Bij elk fout antwoord staat de oorzaak in één zin samengevat
- Ontbrekende antwoorden worden aan je kennis toegevoegd, bewezen door een hercontrole
- Een lijst met vragen die bij elke controle opnieuw wordt gesteld, zodat de resultaten vergelijkbaar blijven
- Je weet wanneer de rol of het AI-model de oorzaak is, en welke tool uitkomst biedt
Voordat u begint
- Een chatbot met kennis, bijvoorbeeld van uw website of een document
- Het Basic-abonnement of hoger, of het gratis proefabonnement (3 controles per chatbot per dag)
- Voldoende vrije berichten in je maandelijkse quotum: elke testvraag telt als een echte chat
Controleren → Oplossen → Opnieuw controleren
De Bot Check stelt drie soorten vragen: typische klantvragen die de AI formuleert na het lezen van je kennisbank, vragen waarop echte bezoekers de afgelopen 90 dagen geen antwoord kregen, en je eigen vragen. Voor elk foutief antwoord noemt het een van drie oorzaken: de informatie ontbreekt, de informatie is aanwezig maar moeilijk vindbaar, of de chatbot had de tekst voor zich en antwoordde alsnog verkeerd.
De oorzaak bepaalt wat je doet. Als de informatie ontbreekt, voer je het antwoord in. Als het moeilijk vindbaar is, heeft de AI een tekst voorbereid op basis van je eigen inhoud, die je controleert en toepast. Was het antwoord fout ondanks de juiste inhoud, dan moet de rol worden aangescherpt en leidt de pagina je naar de juiste tool. Na elke aanpassing wordt de vraag direct opnieuw gesteld, zodat je meteen ziet of het heeft gewerkt.
01–09
Stap voor stap instellen
Open de Bot Check en kies je chatbot
Eén pagina met één knop: Check now.
Klik links in het menu op Bot Check. Heb je meerdere chatbots, kies er dan bovenaan een. Heb je er maar één, dan is deze al geselecteerd.
Vóór de eerste controle legt de pagina in drie stappen uit wat er gebeurt: de AI stelt vragen aan je bot, je ziet waar het misgaat en je voert het juiste antwoord in. Onder de knop lees je hoeveel berichten de controle maximaal verbruikt. In het voorbeeld zijn dat maximaal 22 berichten.
Klik op Check now
Je chatbot antwoordt en de AI beoordeelt elk antwoord.
Klik op Check now. Een balk toont de vier stappen: de vragen worden samengesteld, je chatbot beantwoordt ze, de AI beoordeelt de antwoorden en de oplossingen worden voorbereid. Je chatbot krijgt maximaal 90 seconden voor alle antwoorden samen. Vragen waar hij in die tijd niet aan toe is gekomen, komen achteraf onder Not checked yet te staan en worden bij de volgende controle opnieuw gesteld.
Elke testvraag telt mee voor je maandelijkse berichtenquotum net zoals een echte chat: één bericht voor de vraag, één voor het antwoord. Premium-modellen tellen meervoudig. De testvragen verschijnen niet in je gesprekkenoverzicht, in Analytics of op de pagina Questions.
Bekijk het resultaat en de oorzaak van elk foutief antwoord
Het resultaat toont hoeveel antwoorden juist waren en wat je als eerste moet verbeteren.
Bovenaan zie je het resultaat, in het voorbeeld 4 van de 8 vragen correct beantwoord. Daaronder toont What you should improve elke vraag die de chatbot foutief of onvolledig heeft beantwoord. Vragen van echte bezoekers staan vooraan, omdat echte klanten hierop geen antwoord hebben gekregen.
Elk item heeft een label dat aangeeft waar de vraag vandaan komt: Typical customer question, Asked by a visitor of Your question. Bij “Can I pay by invoice?” staat Asked by 3 visitors. Onder de vraag legt één zin de oorzaak uit, in dit geval: Your knowledge says nothing about this.
Verderop toont Answered correctly wat al goed werkt. Klik daar op een vraag om het antwoord van je chatbot te lezen. De drie oorzaken en wat je eraan kunt doen:
- Your knowledge says nothing about this: de informatie ontbreekt. Klik op Enter answer.
- The answer is in your knowledge, but your bot does not find it reliably: de AI heeft een tekstsuggestie voorbereid op basis van je eigen inhoud. Klik op View suggestion, controleer deze en pas hem toe.
- Your bot had the right content in front of it and still did not answer correctly: meer kennis toevoegen helpt hier niet. Klik op Improve the role.
Voer het ontbrekende antwoord in
Eén of twee zinnen zijn genoeg voor een antwoord.
Klik naast de vraag op Enter answer. Het dialoogvenster toont wat je chatbot als antwoord gaf. De chatbot van Northstar gaf aan geen bevestigde informatie te hebben over de vraag of betalen op factuur mogelijk is.
Typ het juiste antwoord onder What should your bot answer?. Eén of twee zinnen zijn voldoende. In het voorbeeld: “Yes, you can pay by invoice. Payment is due within 14 days.” De AI verzint hier zelf geen antwoord, omdat alleen jij het weet.
Klik op Save and recheck
Je antwoord wordt toegevoegd aan de kennis en de vraag wordt opnieuw gesteld.
Klik op Save and recheck. Je antwoord wordt opgeslagen als een afzonderlijk tekstitem in de kennisbank van de chatbot, vernoemd naar de vraag. Vervolgens stelt de AI dezelfde vraag meteen opnieuw aan je chatbot. Dit duurt enkele seconden.
Als de chatbot nu correct antwoordt, meldt het dialoogvenster dat en toont het nieuwe antwoord. De vraag verhuist naar Answered correctly en het resultaat bovenaan stijgt, in het voorbeeld van 4 naar 5 van de 8.
Is het antwoord nog steeds foutief, formuleer het dan nauwkeuriger en sla het opnieuw op. Dit overschrijft het eerdere item, zodat er geen dubbel item ontstaat. In dat geval toont het dialoogvenster ook de link Open the saved entry in your knowledge, waarmee je de tekst kunt aanpassen of verwijderen.
Verberg vragen die niet relevant zijn
Not important verwijdert een vraag van je lijst.
Niet elke vraag past bij jouw bedrijf. Northstar biedt geen trainingen voor werknemers aan, dus “Do you offer training for employees?” is geen tekortkoming. Klik op Not important. De vraag telt niet meer mee en wordt niet opnieuw gesteld. Het resultaat geeft nu 5 van de 7 aan.
Verborgen vragen staan onderaan onder Hidden. Met Add back zet je een vraag weer terug op de lijst.
Voeg je eigen vragen toe
Voeg toe wat klanten telefonisch of per e-mail vragen.
Typ onder Add your own question een vraag die klanten vaak telefonisch of per e-mail stellen en klik op Add. Northstar voegt “How much is one hour of project work?” toe. De chatbot krijgt de vraag meteen voorgelegd en na enkele seconden verschijnt de vraag in de bijbehorende lijst.
Je eigen vragen blijven op de lijst staan en worden bij elke controle opnieuw gesteld. Je kunt er maximaal vier toevoegen. Vóór de allereerste controle blijft een eigen vraag op stand-by staan en wordt deze samen met de rest gesteld.
Controleer opnieuw nadat je je inhoud hebt gewijzigd
Het vorige resultaat blijft naast het nieuwe zichtbaar.
Nadat je inhoud hebt gewijzigd, zoals een nieuwe webpagina of een nieuw document, klik je op Check again. De vragen op je lijst worden nogmaals gesteld. Vrijgekomen plekken worden aangevuld met nieuwe typische vragen en met nieuwe vragen waarop echte bezoekers geen antwoord kregen.
Naast het nieuwe resultaat zie je het vorige, in het voorbeeld 7 van de 8 met Previous check: 6 van de 8. Zo zie je direct of je wijzigingen effect hebben gehad.
Een lijst bevat maximaal 15 vragen: 6 typische klantvragen, maximaal 5 bezoekersvragen en maximaal 4 van jezelf.
Gebruik de twee extra tools wanneer je kennisbank niet de oorzaak is
Improve the role en Compare models open je onderaan de pagina.
Onder de lijst biedt More tools twee hulpmiddelen voor speciale gevallen. Elk opent in een eigen weergave, en via Back to Bot Check keer je terug naar de lijst.
Improve the role: de rol bevat de instructies over hoe je chatbot antwoordt. De AI analyseert waar je chatbot tekortschiet in de Bot Check en stelt betere instructies voor. Een vergelijking met dezelfde vragen toont of de verbetersuggestie daadwerkelijk betere antwoorden oplevert. Pas daarna voer je de wijziging door.
Compare models: twee of drie AI-modellen beantwoorden dezelfde vragen. Je ziet welk model het beste antwoordt en hoe snel het is. Beide tools verbruiken berichten uit je quotum; de pagina geeft het aantal aan voordat je begint.
Voorbeeld en resultaat
Bekijk de praktijktest en het resultaat
Elke tutorial bevat een vaste invoer, het verwachte resultaat en een transparant overzicht van wat daadwerkelijk lokaal is geverifieerd.
Praktijkvoorbeeld: Hoe test je een AI-chatbot: foutieve antwoorden vinden en oplossen met de Bot Check
Dit exacte scenario is doorlopen met het tijdelijke tutorial-account.
Exacte testinvoer
Yes, you can pay by invoice. Payment is due within 14 days.
Verwacht resultaat
Wanneer dit wordt ingevoerd als het antwoord op “Can I pay by invoice?” en wordt opgeslagen met Save and recheck, verhuist de vraag van What you should improve naar Answered correctly en stijgt het resultaat met één.
Wat er daadwerkelijk is geverifieerd
Vastgelegd in een lokale testomgeving: de eerste controle toonde 4 van de 8 vragen correct beantwoord. Na het opslaan antwoordde de chatbot met “Yes, you can pay by invoice. Payment is due within 14 days.” en toonde het resultaat 5 van de 8.
Tips en trucs
Maak de inrichting betrouwbaar
Test met realistische voorbeelden, leg uw startpunt vast en wijzig één instelling tegelijk. Zo worden echte verbeteringen zichtbaar.
Begin met de vragen van bezoekers
Echte klanten kregen hierop geen antwoord. Elk antwoord dat je hier toevoegt, lost een knelpunt op waar een echte bezoeker tegenaan liep.
Schrijf het antwoord zoals je het hardop zou zeggen
Eén of twee duidelijke zinnen met het concrete feit zijn voldoende: een prijs, een tijdstip of een voorwaarde.
Controleer opnieuw na elke grotere wijziging
Nieuwe pagina's, nieuwe prijzen, een nieuw document: de vergelijking met de vorige controle laat zien of je chatbot beter of juist slechter is gaan presteren.
Pas de rol alleen aan wanneer de pagina dit voorstelt
De meeste hiaten ontstaan door ontbrekende kennis. Een andere instructie helpt niet als het benodigde feit er simpelweg niet staat.
Wanneer iets niet werkt
Problemen oplossen
Controleer status, machtigingen en testgegevens systematisch voordat u het model of de prompt aanpast.
De pagina geeft aan dat je bot nog geen kennis heeft
Open je chatbot, voeg een website of document toe onder Knowledge en wacht tot dit is verwerkt. Start de controle daarna opnieuw.
De controle is voortijdig afgebroken
Je berichtenquotum voor deze maand is op, of je chatbot deed te lang over bepaalde antwoorden. De overgebleven vragen staan onder Not checked yet en worden bij de volgende controle opnieuw gesteld.
Na het opslaan antwoordt de chatbot nog steeds verkeerd
Je tekst is opgeslagen. Formuleer het antwoord specifieker en sla het opnieuw op; hiermee overschrijf je het eerdere item. Biedt dat geen soelaas, dan ligt de oorzaak bij de rol: klik op Improve the role.
Het resultaat verschilt tussen twee controles hoewel er niets is gewijzigd
Je chatbot formuleert elk antwoord telkens opnieuw. Een grensgeval kan de ene keer als goed en de volgende keer als fout worden beoordeeld. Behandel een vraag die blijft schommelen als een kennishiaat en voer er een helder antwoord voor in.
Het proefabonnement staat vandaag geen nieuwe controle meer toe
Tijdens de proefperiode kun je per chatbot 3 controles per dag uitvoeren. Morgen kun je weer verder. Betaalde abonnementen hebben deze limiet niet.
Klaar voor een test op productieniveau
Voer nu je eerste controle uit, los eerst de bezoekersvragen op en controleer opnieuw telkens wanneer je inhoud wijzigt.
Gerelateerde bronnen
Onbeantwoorde vragen en kennishiaten vinden
Zet één echte, niet-ondersteunde bezoekersvraag om in een veilige, traceerbare verbeteringsworkflow.
Kies het beste AI-model voor uw chatbot
Vergelijk kwaliteit, latentie, quotakosten en toolgedrag met een vaste regressieset.
Verkeerde chatbot-antwoorden oplossen
Voeg broncontroles, veilige terugvalopties en regressietests toe aan uw kennisworkflow.
Bot Check documentatie
Alle limieten, de drie oorzaken en beide extra tools in de documentatie.