Come correggere le risposte errate o inventate dei chatbot AI

Apri Knowledge Optimizer → Knowledge Test, seleziona l'assistente desiderato e riutilizza un set fisso di cinque domande. In questo tutorial, tutte e cinque le domande chiedono della policy fittizia di garanzia Northstar Services per il 2028 con formulazioni diverse. La policy è deliberatamente assente dalle fonti indicizzate.

Leggi ogni risultato invece di fidarti solo della percentuale. Una risposta sicura afferma che l'informazione non è disponibile e non inventa coperture, durate, prezzi, eccezioni o promesse legali. Il baseline verificato classifica tutte e cinque le varianti come Not answered perché la policy mancante non può essere supportata.

Salva la domanda esatta, la risposta completa, la valutazione, l'etichetta del modello, la versione del ruolo, l'elenco delle fonti attive e il timestamp. Se una risposta contiene un termine inventato, conservala prima di modificare qualsiasi cosa: è la prova che userai per dimostrare che la correzione successiva ha funzionato.

Apri l'assistente → Knowledge. Registra ogni sito web, file e fonte di testo attiva insieme al relativo stato di indicizzazione. Uno stato completato indica che l'elaborazione è terminata; non prova che la frase necessaria esista o sia autorevole.

Usa Search content ed esamina i file originali cercando termini come garanzia, rimborso, cancellazione, copertura e l'anno 2028. Registra il responsabile della fonte, la data di validità, il pubblico di riferimento e se una versione precedente è ancora attiva. Cerca sinonimi poiché i visitatori usano raramente la formulazione esatta dell'intestazione di una policy.

Classifica il risultato prima di modificare qualsiasi cosa: fatto mancante, fatto in conflitto, problema di estrazione o fatto presente e leggibile. Se la policy è assente, aggiungila a una fonte di dati di proprietà solo dopo l'approvazione. Non incollare mai fatti aziendali mutevoli nel ruolo di sistema solo per far passare un singolo test.

Apri Knowledge Optimizer → Audit, conferma l'assistente corretto e seleziona Run audit. Attendi il completamento della scansione e della valutazione. I risultati Pair findings confrontano blocchi di testo (chunk) simili; i risultati thin-source segnalano fonti con una quantità insufficiente di testo utilizzabile.

Apri entrambi gli estratti per ogni duplicato o contraddizione. Confronta argomento, condizioni, date, lingua e proprietà della fonte. Due traduzioni possono essere duplicati intenzionali, mentre due date di validità diverse possono costituire una vera contraddizione. Non salvare o accettare un risultato solo perché il punteggio di similarità è elevato.

Se un estratto è troncato, disordinato o privo delle etichette delle tabelle, controlla l'estrazione originale del PDF e l'ordine di lettura. Correggi la struttura del documento, rimuovi la fonte obsoleta quando appropriato, reindicizza e ripeti l'esatta domanda con errori prima di toccare il modello.

Apri l'assistente → Settings e seleziona la scheda Custom Role. Salva il testo corrente con data e proprietario prima di modificarlo, in modo da poterlo ripristinare. Mantieni le policy basate sui fatti nelle fonti di dati; il ruolo dovrebbe contenere regole di comportamento stabili.

Usa un ordine esplicito: rispondi ad affermazioni fattuali solo a partire da evidenze indicizzate; non inventare mai policy, date, prezzi, codici o azioni completate sull'account; se l'evidenza manca o è in conflitto, dichiara che l'informazione non può essere verificata; offri solo un percorso di supporto effettivamente configurato. Rimuovi istruzioni contrastanti come “always provide an answer.”

Mantieni la risposta di fallback naturale e specifica. Ad esempio: “I can’t verify an annual-contract refund policy in the available sources. I can help you contact support.” Questo approccio è più utile di un generico rifiuto ed evita comunque termini inventati. Salva, attendi la conferma di salvataggio e avvia il test successivo in una nuova conversazione.

Seleziona Test chatbot e avvia una nuova conversazione. Chiedi prima: “What is Northstar Services’ refund policy for annual contracts?” Considera il test superato solo quando l'assistente dichiara che la policy non può essere verificata dalle fonti disponibili, non inventa scadenze, percentuali, tariffe o eccezioni e offre il canale di supporto approvato senza affermare che il passaggio a un operatore sia già avvenuto.

Nella stessa sessione controllata, fai una domanda di controllo con risposta supportata, come “What is the verification code in the tutorial knowledge base?” La risposta deve restituire esattamente `NORDSTERN-42`. Questa coppia di domande distingue un radicamento sui dati utile da un assistente che si limita a rifiutare ogni richiesta di informazioni.

Esegui nuovamente le cinque varianti sulla garanzia, una richiesta ambigua e un tentativo di prompt-injection. Confronta un altro modello solo quando il passaggio corretto viene recuperato ripetutamente ma continua a essere ignorato o arricchito con dettagli inventati. Mantieni invariati fonti, ruolo, temperatura e domande; registra qualità, latenza mediana e moltiplicatore di quota prima di scegliere un'alternativa.