Come testare un chatbot IA: trovare e correggere risposte errate con Bot Check
Un clic invia al tuo chatbot fino a 15 domande. Vedi ogni risposta errata con la relativa causa, aggiungi la risposta mancante e la domanda viene subito riproposta.
Come testare un chatbot IA senza scrivere scenari di test: un solo clic gli invia le domande tipiche dei clienti e la pagina mostra quali risposte sono risultate errate.
Un chatbot segnala raramente quando fallisce. Il visitatore fa una domanda, non ottiene una vera risposta e se ne va. Bot Check capovolge la situazione: l'IA pone al tuo chatbot fino a 15 domande, valuta ogni risposta e indica in una sola frase perché una risposta non ha funzionato. Aggiungi la risposta mancante nella stessa pagina e la domanda viene subito rieseguita.
Questa guida segue un esempio dall'inizio alla fine: Northstar Services, una piccola azienda informatica. Ogni schermata proviene da una dashboard di test locale reale e ogni risposta è una risposta autentica del chatbot. L'azienda e i suoi visitatori sono fittizi.
Si riproduce direttamente qui, senza terze parti
Come testare un chatbot IA e correggere le risposte errate (Tutorial Bot Check)
Come testare un chatbot IA con domande tipiche e di visitatori reali, capire perché una risposta è errata e aggiungere le informazioni mancanti con Bot Check.
Cosa otterrai alla fine
- Sai esattamente a quante domande dei tuoi clienti il tuo chatbot risponde in modo corretto
- Ogni risposta errata è accompagnata dalla relativa causa riassunta in una sola frase
- Le risposte mancanti vengono aggiunte alla tua knowledge base, come confermato da un controllo immediato
- Un elenco di domande che viene riproposto a ogni controllo, mantenendo i risultati sempre confrontabili
- Capisci quando la causa risiede nel ruolo o nel modello IA e quale strumento adoperare
Prima di iniziare
- Un chatbot con conoscenza, ad esempio il tuo sito web o un documento
- Piano Basic o superiore, oppure la prova gratuita (3 controlli al giorno per chatbot)
- Messaggi disponibili nella tua quota mensile: ogni domanda di test conta come una chat reale
Controlla → Correggi → Ricontrolla
Bot Check pone tre tipi di domande: domande tipiche dei clienti generate dall'IA dopo aver analizzato la tua conoscenza, domande reali dei visitatori rimaste senza risposta negli ultimi 90 giorni e domande personalizzate create da te. Per ogni risposta errata individua una tra tre cause: l'informazione manca, è presente ma difficile da individuare, oppure il chatbot l'aveva a disposizione ma ha comunque risposto male.
La causa determina l'azione da compiere. Se l'informazione manca, inserisci la risposta. Se è difficile da trovare, l'IA prepara una bozza basata sui tuoi contenuti, che potrai verificare e applicare. Se la risposta è risultata errata nonostante il contenuto corretto, occorre perfezionare il ruolo e la pagina ti indirizza allo strumento adatto. Dopo ogni correzione la domanda viene posta di nuovo per mostrarti subito se il problema è risolto.
01–09
Configura passo dopo passo
Apri Bot Check e seleziona il tuo chatbot
Una sola pagina con un pulsante: Check now.
Fai clic su Bot Check nel menu a sinistra. Se hai più chatbot, scegline uno in alto. Se ne hai solo uno, è già selezionato.
Prima del primo controllo, la pagina spiega in tre passaggi cosa accadrà: l'IA invia domande al tuo bot, vedi dove fallisce, inserisci la risposta corretta. Sotto il pulsante puoi verificare il numero massimo di messaggi utilizzati dal controllo. Nell'esempio sono previsti fino a 22 messaggi.
Fai clic su Check now
Il tuo chatbot risponde e l'IA esamina ogni risposta.
Fai clic su Check now. Una barra mostra le quattro fasi: formulazione delle domande, risposte del chatbot, revisione delle risposte da parte dell'IA e preparazione delle soluzioni. Il tuo chatbot ha a disposizione fino a 90 secondi per completare tutte le risposte. Le domande non elaborate entro tale termine vengono inserite in Not checked yet e saranno riproposte al controllo successivo.
Ogni domanda di test viene scalata dalla tua quota mensile di messaggi proprio come una chat reale: un messaggio per la domanda e uno per la risposta. I modelli premium scalano più messaggi. Le domande di test non compaiono nelle conversazioni ordinarie, in Analytics né nella pagina Questions.
Leggi il risultato e la causa di ciascuna risposta errata
Il risultato mostra quante risposte erano corrette e quali aspetti migliorare per primi.
In alto vedi il risultato complessivo, nell'esempio 4 risposte corrette su 8 domande. Sotto, la sezione What you should improve elenca tutte le domande a cui il chatbot ha risposto in modo errato o incompleto. Le domande dei visitatori reali compaiono per prime, poiché indicano richieste concrete rimaste inevase.
Ogni voce riporta un'etichetta che ne indica la provenienza: Typical customer question, Asked by a visitor oppure Your question. L'esempio “Can I pay by invoice?” riporta Asked by 3 visitors. Sotto la domanda, una frase indica la causa, qui: Your knowledge says nothing about this.
Più in basso, la sezione Answered correctly raggruppa le risposte già riuscite. Fai clic su una domanda per leggere la risposta del tuo chatbot. Ecco le tre cause possibili e cosa fare per ciascuna:
- Your knowledge says nothing about this: l'informazione è assente. Fai clic su Enter answer.
- The answer is in your knowledge, but your bot does not find it reliably: l'IA ha preparato una proposta di testo a partire dai tuoi contenuti. Fai clic su View suggestion, verifica la proposta e applicala.
- Your bot had the right content in front of it and still did not answer correctly: aggiungere ulteriore conoscenza non è la soluzione. Fai clic su Improve the role.
Inserisci la risposta mancante
Una o due frasi sono sufficienti per una risposta.
Fai clic su Enter answer accanto alla domanda. La finestra di dialogo mostra la risposta fornita dal chatbot. Il chatbot di Northstar ha dichiarato di non disporre di informazioni confermate sulla possibilità di pagare tramite fattura.
Scrivi la risposta corretta nel campo What should your bot answer?. Uno o due periodi bastano. Nell'esempio: “Yes, you can pay by invoice. Payment is due within 14 days.” In questo passaggio l'IA non inventa risposte, poiché solo tu conosci le informazioni esatte.
Fai clic su Save and recheck
La tua risposta entra nella knowledge base e la domanda viene subito riproposta.
Fai clic su Save and recheck. La tua risposta viene salvata come nuovo testo nella knowledge base del chatbot, con un nome che richiama la domanda. Subito dopo l'IA ripete la stessa domanda al chatbot. L'operazione richiede pochi secondi.
Se il chatbot ora risponde bene, la finestra lo segnala e mostra la nuova risposta. La domanda si sposta in Answered correctly e il punteggio in alto aumenta, passando nell'esempio da 4 a 5 su 8.
Se la risposta risulta ancora errata, формуlala in modo più chiaro e salva nuovamente. Questa azione sovrascrive la voce senza crearne una seconda. In tal caso, la finestra mostra anche il collegamento Open the saved entry in your knowledge per modificare o rimuovere il testo.
Nascondi le domande che non sono rilevanti
Not important rimuove una domanda dal tuo elenco.
Non tutte le domande si adattano alla tua attività. Northstar non eroga corsi per dipendenti, perciò “Do you offer training for employees?” non rappresenta una lacuna. Fai clic su Not important. La domanda non verrà più conteggiata né riproposta. Il risultato passa a 5 su 7.
Le domande escluse compaiono in basso nella sezione Hidden. Il pulsante Add back le reinserisce nell'elenco attivo.
Aggiungi le tue domande personalizzate
Aggiungi le richieste tipiche che ricevi per telefono o via email.
Nella sezione Add your own question, inserisci una domanda ricorrente dei tuoi clienti e fai clic su Add. Northstar aggiunge “How much is one hour of project work?”. Il chatbot viene testato all'istante e, dopo pochi secondi, la domanda compare nell'elenco appropriato.
Le tue domande personalizzate restano nell'elenco e vengono verificate a ogni controllo. Puoi aggiungerne fino a quattro. Prima del primissimo controllo complessivo, una domanda personalizzata rimane in attesa e verrà verificata insieme a tutte le altre.
Esegui un nuovo controllo dopo aver modificato i contenuti
Il risultato precedente rimane visibile accanto al nuovo.
Dopo aver aggiornato i contenuti, ad esempio con una nuova pagina web o un documento, fai clic su Check again. Le domande del tuo elenco vengono riproposte. Gli spazi liberi vengono occupati da nuove domande tipiche e dalle richieste inedite di visitatori reali rimaste senza risposta.
Accanto al nuovo punteggio visualizzi quello precedente; nell'esempio compare 7 su 8 con Previous check: 6 su 8. Questo ti permette di capire subito se gli aggiornamenti hanno portato miglioramenti effettivi.
Un elenco può contenere al massimo 15 domande: 6 domande tipiche dei clienti, fino a 5 domande dei visitatori e fino a 4 domande personalizzate create da te.
Usa i due strumenti aggiuntivi quando la causa non riguarda la knowledge base
Improve the role e Compare models sono accessibili in fondo alla pagina.
Sotto l'elenco, la sezione More tools contiene due strumenti per casi particolari. Ciascuno si apre in una schermata dedicata e il comando Back to Bot Check ti riporta all'elenco principale.
Improve the role: il ruolo rappresenta l'insieme di istruzioni sul modo in cui il chatbot deve rispondere. L'IA analizza i punti deboli rilevati da Bot Check e propone istruzioni più efficaci. Un confronto basato sulle stesse domande evidenzia se il suggerimento migliora davvero le risposte; solo a quel punto decidi di applicarlo.
Compare models: due o tre modelli di IA rispondono alle stesse domande. Puoi valutare quale offre le risposte migliori e con quale velocità. Entrambi gli strumenti consumano messaggi dalla tua quota mensile e la pagina ne indica il numero esatto prima di iniziare.
Esempio e risultato
Guarda il test pratico e il relativo risultato
Ogni tutorial include un input definito, il risultato atteso e un riepilogo trasparente di quanto effettivamente verificato in ambiente di prova.
Esempio pratico: come testare un chatbot IA: trovare e correggere risposte errate con Bot Check
Questo scenario esatto è stato completato utilizzando l'account di prova temporaneo.
Input esatto del test
Yes, you can pay by invoice. Payment is due within 14 days.
Risultato previsto
Inserita come risposta a “Can I pay by invoice?” e salvata con Save and recheck, la domanda passa da What you should improve ad Answered correctly e il risultato aumenta di uno.
Cosa è stato effettivamente verificato
Registrato in un ambiente di test locale: il primo controllo evidenziava 4 su 8 risposte corrette. Dopo il salvataggio, il chatbot ha risposto “Yes, you can pay by invoice. Payment is due within 14 days.” e il risultato è salito a 5 su 8.
Consigli e suggerimenti
Rendi affidabile la configurazione
Esegui i test con esempi realistici, registra i dati di base e modifica una sola impostazione alla volta. In questo modo i miglioramenti reali risulteranno evidenti.
Inizia dalle domande dei visitatori
Clienti reali non hanno ricevuto risposta a queste domande. Ogni soluzione aggiunta qui colma una lacuna realmente incontrata da un utente.
Formula la risposta con parole tue, in modo naturale
Una o due frasi chiare con il dato concreto sono ideali: un prezzo, un orario, una condizione.
Ripeti il controllo dopo ogni modifica rilevante
Nuove pagine, listini aggiornati, un nuovo file: il confronto con il controllo precedente ti dice subito se il chatbot è migliorato o peggiorato.
Modifica il ruolo solo quando suggerito dalla pagina
La maggior parte delle lacune dipende da informazioni assenti. Modificare le istruzioni generali non serve se il dato di base non esiste.
Cosa fare se qualcosa non funziona
Risoluzione dei problemi
Verifica lo stato, i permessi e i dati di test in modo sistematico prima di modificare il modello o il prompt.
La pagina indica che il bot non ha ancora alcuna conoscenza
Apri il tuo chatbot, aggiungi un sito web o un documento nella sezione Knowledge e attendi il completamento dell'elaborazione. Poi riavvia il controllo.
Il controllo si è interrotto prima del previsto
È possibile che la quota mensile di messaggi sia esaurita oppure che il chatbot abbia impiegato troppo tempo per alcune risposte. Le domande residue compaiono sotto Not checked yet e verranno riproposte al controllo successivo.
Dopo il salvataggio il chatbot continua a rispondere in modo errato
Il tuo testo è stato salvato. Riformula la risposta in modo più preciso e salva di nuovo per sovrascrivere la voce precedente. Se il problema persiste, la causa risiede nel ruolo: seleziona Improve the role.
Il risultato varia tra due controlli anche senza modifiche
Il tuo chatbot formula ogni risposta da capo. Una risposta al limite può essere valutata corretta una volta ed errata quella successiva. Tratta le domande dal comportamento incerto come vere lacune e fornisci una risposta chiara e inequivocabile.
Il periodo di prova non consente un altro controllo per oggi
Durante la prova gratuita puoi eseguire 3 controlli al giorno per chatbot. Potrai proseguire domani. I piani a pagamento non prevedono questa limitazione giornaliera.
Pronto per un test strutturato
Avvia ora il tuo primo controllo, correggi per prime le domande dei visitatori e ripeti il test ogni volta che aggiorni i tuoi contenuti.
Risorse correlate
Individuare domande senza risposta e lacune informative
Trasforma una domanda reale non supportata di un utente in un flusso di miglioramento sicuro e tracciabile.
Scegliere il modello AI migliore per il tuo chatbot
Confronta qualità, latenza, consumo della quota e comportamento degli strumenti con un set di regressione fisso.
Correggere le risposte errate del chatbot
Integra verifiche delle fonti, risposte di riserva sicure e test di regressione nel tuo flusso di gestione della knowledge base.
Riferimento di Bot Check
Tutti i limiti, le tre cause e i due strumenti aggiuntivi spiegati nella documentazione.