Knowledge Optimizer per chatbot AI: guida completa

Apri Knowledge Optimizer → Knowledge Test, scegli l'assistente desiderato e seleziona Custom Question. Aggiungi cinque parafrasi naturali che dovrebbero restituire tutte il dato univoco del PDF `NORDSTERN-42`. Includi la domanda diretta, una variante formale e una formulazione tipica di un visitatore reale.

Annota il dato atteso, la fonte approvata e la condizione di superamento prima di selezionare Start test. Una risposta valida deve contenere il codice esatto, identificare il PDF demo di Northstar Services ed evitare affermazioni inventate su garanzia, prezzi o disponibilità.

Mantieni la stessa versione della fonte, ruolo, modello e temperatura. Aggiungi una domanda separata non supportata sulla garanzia 2028 per verificare il comportamento corretto in assenza di risposta. In questo modo eviti che una risposta fluida o un setup di test modificato sembrino un miglioramento quando non lo sono.

L'esecuzione registrata mostra 5 con risposta, 0 parziale, 0 senza risposta e un punteggio di 100%. Apri ogni risultato e verifica che ciascuna risposta contenga `NORDSTERN-42`, citi il PDF demo di Northstar Services e non aggiunga affermazioni inventate su garanzia, prezzi o disponibilità.

Valuta due livelli separatamente. Prima verifica se è stato recuperato il passaggio corretto. Poi giudica se la risposta è accurata, supportata da quel passaggio, sufficientemente completa per la domanda e priva di aggiunte non verificate. Un singolo punteggio complessivo può nascondere una risposta fluida basata su fonti deboli.

Questo dimostra che il PDF indicizzato e il percorso di retrieval funzionano per il dato noto. Non dimostra però che il chatbot conosca le condizioni di garanzia di 2028. Poni separatamente quella domanda non supportata e aspettati una risposta sicura “no information” anziché un'ipotesi.

Apri Optimize per esaminare le lacune informative rilevate nelle conversazioni reali degli utenti. L'account del tutorial verificato è vuoto perché i Knowledge Test controllati non simulano traffico utente fittizio. In produzione, seleziona 30 o 90 giorni, esegui Analyze, apri la conversazione originale e verifica ogni suggerimento con il responsabile e la fonte ufficiale prima di accettarlo.

Usa Audit quando ti serve una revisione più ampia anziché analizzare un singolo errore noto. La funzione cerca dati obsoleti, contraddizioni, coperture scarse e strutture deboli. Gestisci ogni elemento come una voce prioritaria di una checklist: leggi l'estratto interessato, verifica l'ultimo dato approvato e decidi se modificare la fonte o ignorare la segnalazione. Non usare mai Save to Inbox come approvazione automatica.

Risultati vuoti in Optimize indicano “no conversation-derived suggestion in this range”, non “the knowledge base is perfect”. Il video con clic reali registrati esegue Audit fino al completamento e mostra il risultato autentico. Verifica inoltre che nessun dato sia stato salvato, nessun ruolo applicato e nessun modello cambiato automaticamente.

Apri Role e usa le varianti non supportate sulla garanzia 2028 per generare una proposta. Il suggerimento visibile mantiene le risposte brevi, richiede prove indicizzate, vieta estrapolazioni e indica all'assistente di dichiarare quando le informazioni mancano. Sono linee guida comportamentali ragionevoli.

Tuttavia, un ruolo non può creare una politica di garanzia inesistente in una fonte approvata. Leggi Current role, Proposed role e Rationale uno accanto all'altro. Rimuovi qualsiasi istruzione in contrasto con le procedure di supporto, i percorsi di escalation, il tono richiesto o le diciture legali.

Non applicare subito la proposta. Seleziona il test salvato da cinque domande come sorgente A/B e confronta il comportamento corrente e quello proposto a parità di input. In questo modo isoli la modifica al ruolo; cambiare contemporaneamente fonte o modello renderebbe impossibile attribuire il risultato.

Riusa l'ultimo Knowledge Test in modo che entrambi i candidati ricevano le stesse cinque domande sul PDF. Il confronto registrato mostra Vertex Gemini 2.5 Flash e Claude Haiku 4.5 con qualità al 100%; la latenza mediana è di 2.6 secondi per Gemini e 4.4 secondi per Claude, quindi per questo test viene consigliato il modello attuale.

Apri le risposte per singola domanda prima di decidere. Verifica l'esattezza dei dati, l'uso delle fonti, la gestione corretta dei rifiuti, la completezza e l'eventuale presenza di risposte insolitamente lente. Confronta l'uso della quota o il costo del modello oltre alla latenza mediana; una mediana veloce non deve nascondere picchi lenti ricorrenti o comportamenti meno sicuri.

Una raccomandazione verde non indica un vincitore assoluto. Espandi il set di regressione con risposte lunghe, ambiguità, rifiuti, test linguistici e casi d'uso con strumenti rilevanti per il tuo chatbot. Il passaggio a un altro provider AI può richiedere nuovi embedding e una reindicizzazione completa, quindi salva la configurazione attuale e pianifica quel confronto a parte.

Esegui le cinque domande esatte sulla garanzia con il ruolo attuale e con quello proposto. Il risultato registrato è: 0% migliori, 3 pari e 2 peggiori. Apri i confronti sfavorevoli per capire se il nuovo testo è diventato meno accurato, meno utile o meno ancorato alle fonti. Non toccare Apply role e mantieni il ruolo corrente.

Se l'azienda offre davvero una garanzia 2028, aggiungi l'informativa approvata (con responsabile, data di validità, ambito ed eccezioni) a una fonte autorevole, reindicizza e ripeti i test con risposta nota e rifiuto sicuro. Se l'informativa non esiste, la soluzione corretta è un fallback sicuro e coerente o il passaggio a un operatore umano, non una risposta più perentoria.

Prima di pubblicare qualsiasi modifica, registra versione della fonte approvata, ruolo, modello, risultato del test da cinque domande, esito della domanda non supportata e latenza. Pianifica revisioni periodiche di Optimization Inbox e lascia i suggerimenti in sospeso finché un responsabile umano non conferma sia il dato sia il risultato della regressione.