Knowledge Optimizer pour chatbot IA : tutoriel complet

Ouvrez Knowledge Optimizer → Knowledge Test, choisissez l'assistant concerné et sélectionnez Custom Question. Ajoutez cinq paraphrases naturelles qui doivent toutes renvoyer le fait unique du PDF `NORDSTERN-42`. Incluez la question directe, une variante polie et une formulation issue d'un visiteur réel.

Notez le fait attendu, la source validée et la condition de réussite avant de cliquer sur Start test. Une réponse validée doit contenir le code exact, identifier le PDF de démonstration Northstar Services et ne formuler aucune affirmation inventée sur la garantie, le prix ou la disponibilité.

Conservez la même version de source, le même rôle, le même modèle et la même température. Ajoutez une question séparée non documentée sur la garantie 2028 pour vérifier le refus sécurisé. Cela évite qu'une réponse fluide mais fausse passe pour une amélioration.

Le test enregistré affiche 5 avec réponse, 0 partielle, 0 sans réponse et un score de 100%. Ouvrez chaque résultat et confirmez que chaque réponse contient `NORDSTERN-42`, cite le PDF de démonstration Northstar Services et n'ajoute aucune affirmation inventée sur la garantie, le prix ou la disponibilité.

Évaluez deux niveaux séparément. Vérifiez d'abord si le bon passage a été extrait. Jugez ensuite si la réponse est exacte, appuyée par ce passage, suffisamment complète et exempte d'ajouts non vérifiés. Un score global peut masquer une réponse fluide basée sur une preuve médiocre.

Cela prouve que le PDF indexé et le parcours de recherche fonctionnent pour le fait connu. Cela ne prouve pas que le chatbot connaît la politique de garantie 2028. Posez cette question non documentée séparément et attendez une réponse “no information” sécurisée plutôt qu'une supposition.

Ouvrez Optimize pour examiner les manques de connaissances détectés dans les vraies conversations. Le compte tutoriel vérifié est vide car les tests Knowledge Test contrôlés ne fabriquent pas de faux trafic. En production, choisissez 30 ou 90 jours, lancez Analyze, ouvrez la conversation d'origine et vérifiez chaque suggestion auprès du responsable de la source avant de l'accepter.

Utilisez Audit pour un bilan global plutôt que pour un cas d'échec précis. Il repère les faits obsolètes, les contradictions, les zones peu détaillées et les faiblesses de structure. Traitez chaque résultat comme une tâche priorisée : lisez l'extrait concerné, confirmez le fait validé et décidez d'éditer la source ou d'ignorer la remarque. N'utilisez jamais Save to Inbox comme une validation automatique.

Un résultat vide dans Optimize indique “no conversation-derived suggestion in this range”, pas “the knowledge base is perfect”. La vidéo d'actions réelles publiée mène l'Audit à terme et montre le résultat authentique. Elle confirme également qu'aucun résultat n'a été enregistré, aucun rôle appliqué et aucun modèle changé automatiquement.

Ouvrez Role et utilisez les variantes non documentées sur la garantie 2028 pour générer une proposition. La suggestion visible garde des réponses courtes, exige des preuves indexées, interdit l'extrapolation et ordonne à l'assistant d'indiquer quand une information manque. Ce sont de bons garde-fous comportementaux.

Pourtant, un rôle ne peut pas inventer une politique de garantie absente de vos sources validées. Lisez Current role, Proposed role et Rationale côte à côte. Supprimez toute consigne incompatible avec votre support, vos règles d'escalade, le ton exigé ou les mentions légales.

Laissez la proposition non appliquée. Sélectionnez le test enregistré de cinq questions comme source du test A/B et comparez les comportements sur des entrées identiques. Cela isole le changement de rôle : modifier la source ou le modèle en même temps empêcherait d'en mesurer l'impact réel.

Réutilisez le dernier Knowledge Test pour que les deux candidats reçoivent les cinq mêmes questions sur le PDF. La comparaison enregistrée montre Vertex Gemini 2.5 Flash et Claude Haiku 4.5 avec une qualité de 100% ; la latence médiane est de 2.6 secondes pour Gemini et 4.4 secondes pour Claude, recommandant ainsi le modèle actuel pour ce test.

Ouvrez les réponses question par question avant de trancher. Vérifiez l'exactitude des faits, l'utilisation des preuves, le refus sécurisé, l'exhaustivité et les lenteurs anormales. Comparez aussi les quotas ou le coût du modèle en plus de la latence médiane : une médiane rapide ne doit pas masquer des pics de lenteur répétés ou une sécurité dégradée.

Une recommandation verte n'est pas un choix universel. Élargissez le jeu de régression avec des réponses longues, des ambiguïtés, des refus, des tests linguistiques et des appels d'outils pertinents pour votre usage. Changer de fournisseur d'IA peut nécessiter de nouveaux embeddings et une réindexation complète : sauvegardez la configuration et planifiez ce test à part.

Exécutez exactement les cinq questions sur la garantie avec le rôle actuel et le rôle proposé. Le résultat enregistré montre 0% meilleure, 3 égalités et 2 moins bonnes. Ouvrez les paires perdantes pour comprendre si la nouvelle formulation est devenue moins précise, moins utile ou moins bien étayée. Ne cliquez pas sur Apply role et conservez le rôle actuel.

Si l'entreprise propose réellement une garantie 2028, ajoutez la politique validée (avec responsable, date d'effet, périmètre et exclusions) dans une source officielle, réindexez et relancez les tests de réponse connue et de refus sécurisé. Si aucune politique n'existe, la bonne solution est un repli sécurisé ou un transfert humain, pas une réponse affirmée à tort.

Avant de publier un changement, enregistrez la version de source validée, le rôle, le modèle, le score aux cinq questions, le résultat sur la question non documentée et la latence. Consultez régulièrement l'Optimization Inbox et laissez les suggestions en attente jusqu'à validation humaine du fait et du test de régression.