Meilleur modèle d'IA pour un chatbot : comment tester et comparer

Ouvrez le chatbot concerné et sélectionnez Configuration. Dans la section AI Model, ouvrez le sélecteur de modèles. Examinez attentivement chaque élément descriptif pour chaque candidat envisageable : fournisseur, famille de modèle, label UE, classe de vitesse et multiplicateur de quota. Dans l'interface capturée en mode clair, les options rapides et intelligentes affichent des multiplicateurs tels que 4× et 6×.

Rédigez vos règles de décision avant de lancer le test. Une grille de départ équilibrée attribue 40% à la fidélité aux sources, 25% au respect des consignes et aux refus de réponse maîtrisés, 20% au temps de réponse et 15% à l'efficacité du quota. Traitez la localisation légale du traitement, les outils indispensables et la latence maximale comme des critères éliminatoires stricts plutôt que comme de simples bonus.

Ouvrez Knowledge Optimizer → Knowledge Test et lancez un jeu de questions fixe avec le modèle actuel. Intégrez des questions factuelles directes, des reformulations naturelles, une demande ambiguë et au moins une question sans réponse dans les sources. Validez la réponse attendue pour chaque question avant le test pour éviter qu'une formulation fluide ne masque une erreur factuelle.

L'exemple validé utilise cinq questions naturelles portant sur le code mentionné dans le PDF de démonstration Northstar Services. Chaque réponse a renvoyé NORDSTERN-42, obtenant 5 réponses complètes, 0 partielle, 0 sans réponse et un score de 100%. Il s'agit d'une excellente référence pour un modèle rapide. Tout modèle appliquant un multiplicateur de quota plus élevé doit désormais prouver une supériorité concrète sur d'autres aspects.

Ouvrez l'onglet Model Arena. Sélectionnez le modèle actuel et un modèle concurrent éligible. Lors de notre test validé, les deux modèles testés étaient Vertex Gemini 2.5 Flash et Claude Haiku 4.5. Cochez “Reuse questions from the last test run” afin que les deux modèles reçoivent exactement les cinq mêmes questions sur NORDSTERN-42.

Vérifiez l'estimation de consommation avant de démarrer ; l'interface indique que ce comparatif utilise environ 20 messages de test. Testez un volume suffisant de questions représentatives pour éviter qu'une réponse particulièrement rapide ou chanceuse ne fausse l'analyse. Pour une décision en production, utilisez 10 à 20 questions et réitérez les cas limites importants.

Attendez la fin de l'évaluation complète. Analysez d'abord le score global de qualité et la latence médiane, puis revenez dans Configuration pour vérifier le multiplicateur de quota et l'indicateur UE. La latence médiane est bien plus fiable qu'une requête unique car elle n'est pas faussée par des temps de réponse extrêmes.

Dans le test observé, les deux modèles ont atteint 100%. Gemini a affiché une latence médiane de 4.0 secondes contre 6.0 secondes pour Claude. Le challenger n'apportant aucun gain qualitatif, l'Arena a recommandé de conserver le modèle Gemini actuel pour son meilleur équilibre entre vitesse et performance. Cette conclusion s'applique à cette charge précise et ne constitue pas un classement absolu.

Dépliez au moins une réponse exacte, une requête complexe et un échec. Comparez l'exactitude des faits, la source citée, le comportement face aux informations manquantes, le ton et le respect des consignes. Dans l'exemple affiché, les deux modèles ont renvoyé NORDSTERN-42. La requête individuelle a pris 4.6 secondes pour Gemini et 6.4 secondes pour Claude, confirmant la tendance observée sur les moyennes.

Dans ce cas précis, conservez le modèle Gemini actuel. Cliquez sur “Use for this bot” uniquement si le challenger surpasse nettement la grille d'évaluation validée. Si le changement implique un changement de fournisseur, planifiez la réindexation, attendez son achèvement complet et relancez le jeu de régression avant la mise en ligne. Consignez le nom du modèle, la date, le score, la latence médiane, le multiplicateur de quota et le responsable de validation.