Comment corriger les réponses fausses ou inventées d'un chatbot IA

Ouvrez Knowledge Optimizer → Knowledge Test, sélectionnez l'assistant ciblé et réutilisez un ensemble fixe de cinq questions. Dans ce tutoriel, les cinq questions portent toutes, sous des formulations différentes, sur la politique de garantie fictive de Northstar Services pour 2028. Cette politique est délibérément absente des sources indexées.

Lisez attentivement chaque résultat au lieu de vous fier uniquement au pourcentage. Une réponse sûre indique que l'information n'est pas disponible et n'invente ni couverture, ni durée, ni prix, ni exceptions, ni engagement juridique. La base de référence vérifiée classe les cinq variantes sous Not answered car la politique manquante ne peut être étayée.

Enregistrez la question exacte, la réponse intégrale, l'évaluation, l'étiquette du modèle, la version du rôle, la liste des sources actives et l'horodatage. Si une réponse contient un terme inventé, conservez-le avant toute modification : c'est la preuve qui démontrera l'efficacité de la correction ultérieure.

Ouvrez l'assistant → Knowledge. Répertoriez chaque site web, fichier et texte source actif ainsi que son statut d'indexation. Un statut terminé signifie que le traitement a abouti ; il ne garantit pas que la phrase requise s'y trouve ni qu'elle fait autorité.

Utilisez Search content et inspectez les fichiers d'origine pour les termes garantie, assurance, remboursement, annulation, couverture et l'année 2028. Notez le propriétaire de la source, la date d'effet, le public visé et si une version antérieure est toujours active. Recherchez aussi des synonymes, car les visiteurs emploient rarement la formulation exacte des titres d'une politique.

Qualifiez le résultat avant toute modification : fait manquant, fait contradictoire, problème d'extraction ou fait présent et lisible. Si la politique est absente, ne l'ajoutez à une source de données dédiée qu'après validation. Ne collez jamais des faits métier évolutifs dans le rôle système dans le seul but de réussir un test.

Ouvrez Knowledge Optimizer → Audit, confirmez l'assistant concerné et sélectionnez Run audit. Patientez pendant l'analyse et l'évaluation. Les résultats par paires comparent les blocs similaires ; les alertes sur les sources pauvres en texte signalent celles qui contiennent trop peu de contenu exploitable.

Ouvrez les deux extraits pour chaque doublon ou contradiction. Comparez le sujet, les conditions, les dates, la langue et l'appartenance de la source. Deux traductions peuvent constituer des doublons intentionnels, tandis que deux dates d'effet différentes peuvent être une véritable contradiction. Ne validez pas une observation uniquement parce que le score de similarité est élevé.

Si un extrait est tronqué, désordonné ou dépourvu des intitulés de tableaux, vérifiez l'extraction du PDF d'origine et l'ordre de lecture. Corrigez la structure du document, retirez la source obsolète le cas échéant, réindexez et relancez la question exacte en échec avant de toucher au modèle.

Ouvrez l'assistant → Settings et sélectionnez la carte Custom Role. Enregistrez le texte actuel avec la date et le nom du responsable avant toute modification afin de pouvoir le restaurer. Conservez les politiques factuelles dans les sources de données ; le rôle doit contenir des règles de comportement stables.

Appliquez une consigne explicite : répondre aux affirmations factuelles uniquement à partir des preuves indexées ; ne jamais inventer de politiques, de dates, de prix, de codes ou d'actions de compte déjà effectuées ; si la preuve est absente ou contradictoire, indiquer que l'information ne peut être vérifiée ; proposer uniquement une option d'assistance réellement configurée. Supprimez les instructions contradictoires comme “always provide an answer.”

Formulez le message de repli de manière naturelle et précise. Par exemple : “I can’t verify an annual-contract refund policy in the available sources. I can help you contact support.” Cela s'avère plus utile qu'un refus générique tout en évitant les termes inventés. Enregistrez, attendez la confirmation de sauvegarde et lancez le test suivant dans une nouvelle conversation.

Sélectionnez Test chatbot et démarrez une nouvelle conversation. Posez d'abord la question : “What is Northstar Services’ refund policy for annual contracts?” Ne validez le test que si l'assistant déclare que la politique ne peut être vérifiée à partir des sources disponibles, n'invente aucun délai, pourcentage, frais ou exception, et propose le canal de support validé sans prétendre qu'un transfert a déjà eu lieu.

Dans la même série de tests contrôlés, posez une question témoin étayée telle que “What is the verification code in the tutorial knowledge base?” La réponse doit retourner exactement `NORDSTERN-42`. Cette paire permet de distinguer un ancrage documentaire pertinent d'un assistant qui refuserait systématiquement chaque demande factuelle.

Rejouez les cinq variantes sur la garantie, une demande ambiguë et une tentative d'injection de prompt. N'évaluez un autre modèle que si le passage exact est régulièrement récupéré mais ignoré ou enjolivé. Gardez les sources, le rôle, la température et les questions inchangés ; notez la qualité, la latence médiane et le multiplicateur de quota avant de retenir un modèle concurrent.