Comment tester un chatbot IA : repérer et corriger les mauvaises réponses avec le Bot Check

Cliquez sur Bot Check dans le menu de gauche. Si vous possédez plusieurs chatbots, sélectionnez celui de votre choix en haut. Si vous n'en avez qu'un, il est déjà sélectionné par défaut.

Avant le premier contrôle, la page résume le déroulement en trois étapes : l'IA interroge votre bot, vous repérez ses lacunes, vous renseignez la bonne réponse. Sous le bouton figure le volume maximal de messages consommés par le test. Dans notre exemple, cela représente jusqu'à 22 messages.

Cliquez sur Check now. Une barre de progression détaille les quatre étapes : préparation des questions, réponses de votre chatbot, analyse des réponses par l'IA et élaboration des solutions. Votre chatbot dispose d'un temps global maximal de 90 secondes pour répondre à l'ensemble. Les questions non traitées dans ce délai s'affichent sous Not checked yet et seront soumises lors du contrôle suivant.

Chaque question de test est décomptée de votre forfait mensuel comme un échange standard : un message pour la question, un pour la réponse. Les modèles premium appliquent un multiplicateur. Les questions de test n'apparaissent ni dans vos historiques de conversation, ni dans Analytics, ni sur la page Questions.

Le bilan global apparaît en haut : ici, 4 questions sur 8 traitées avec succès. En dessous, la section What you should improve recense chaque question ayant reçu une réponse inexacte ou incomplète. Les questions de visiteurs réels figurent en tête de liste, car de vrais clients n'ont pas obtenu de réponse à ces demandes.

Chaque élément mentionne sa provenance : Typical customer question, Asked by a visitor ou Your question. La mention “Can I pay by invoice?” indique Asked by 3 visitors. Sous l'intitulé, une phrase explique la cause du problème, ici : Your knowledge says nothing about this.

Plus bas, la section Answered correctly réunit les points parfaitement maîtrisés. Cliquez sur une question pour consulter la réponse formulée par votre chatbot. Voici les trois causes possibles et la marche à suivre pour chacune :

Cliquez sur Enter answer à côté de la question. La boîte de dialogue reproduit la réponse fournie par votre agent conversationnel. Le chatbot de Northstar a par exemple précisé qu'il ne disposait d'aucune information confirmée quant au règlement sur facture.

Saisissez la bonne réponse dans le champ What should your bot answer?. Une ou deux phrases claires suffisent amplement. Exemple : “Yes, you can pay by invoice. Payment is due within 14 days.” L'IA n'invente rien à cette étape, car cette information dépend exclusivement de vous.

Cliquez sur Save and recheck. Votre réponse est enregistrée sous forme de texte autonome dans les connaissances du chatbot, sous le titre de la question posée. L'IA soumet ensuite immédiatement la même question à votre agent. L'opération ne prend que quelques secondes.

Si le chatbot répond correctement désormais, la fenêtre le confirme et affiche la réponse révisée. La question passe dans Answered correctly, et le compteur global augmente, passant par exemple de 4 à 5 sur 8.

Si l'erreur persiste, précisez la formulation puis enregistrez à nouveau. Cette action met à jour l'entrée existante sans en créer de doublon. La boîte de dialogue affiche alors le lien Open the saved entry in your knowledge pour vous permettre de modifier ou de supprimer le document.

Toutes les questions ne correspondent pas à votre activité. Northstar ne dispensant pas de sessions de formation pour le personnel, “Do you offer training for employees?” ne relève pas d'un manque d'information. Cliquez sur Not important. La question n'est plus prise en compte et ne sera plus soumise. Le score indique désormais 5 sur 7.

Les questions exclues restent accessibles en bas de page sous l'onglet Hidden. Le bouton Add back permet de les réintégrer à tout moment.

Dans la section Add your own question, tapez une question souvent posée par vos clients au téléphone ou par e-mail, puis cliquez sur Add. Northstar intègre ainsi “How much is one hour of project work?”. Le chatbot est interrogé instantanément et la question se range dans la liste adéquate au bout de quelques secondes.

Vos questions personnalisées demeurent dans la liste et sont systématiquement testées à chaque contrôle. Vous pouvez en définir jusqu'à quatre. Avant la toute première analyse globale, une question personnalisée reste en attente et sera évaluée avec l'ensemble du lot.

Dès que vous modifiez vos contenus (ajout d'une page web ou d'un fichier PDF), cliquez sur Check again. Les questions enregistrées sont posées une nouvelle fois. Les emplacements libres sont complétés par de nouvelles questions types et par les dernières demandes réelles sans réponse.

À côté de la note actuelle figure le score antérieur : dans notre cas, 7 sur 8 avec la mention Previous check: 6 of 8. Vous évaluez ainsi l'impact réel de vos ajouts en un coup d'œil.

Une session réunit au maximum 15 questions : 6 questions types, jusqu'à 5 questions de visiteurs et jusqu'à 4 questions personnalisées.

En dessous de la liste, la section More tools propose deux fonctionnalités dédiées aux cas particuliers. Chacune s'affiche sur un écran propre, et l'option Back to Bot Check vous ramène à la vue principale.

Improve the role : le rôle définit le cadre de conduite et les consignes transmises à votre chatbot. L'IA analyse les blocages constatés lors du Bot Check et vous propose des instructions plus précises. Une phase de test comparatif sur les mêmes questions permet de confirmer les gains de pertinence avant d'appliquer les changements.

Compare models : deux ou trois modèles de langage sont évalués en parallèle sur une base de questions identique. Vous comparez la qualité de leurs formulations et leur temps de réponse. Ces deux modules décomptent des crédits de votre forfait, et le volume prévisionnel est indiqué avant confirmation.