Cómo probar un chatbot con IA: detecta y corrige respuestas incorrectas con Bot Check
Con un solo clic formula hasta 15 preguntas a tu chatbot. Revisa cada respuesta errónea con su causa, añade la respuesta que falta y la pregunta se volverá a probar de inmediato.

Cómo probar un chatbot con IA sin diseñar casos de prueba: un clic le hace las preguntas que tus clientes formulan y la página muestra qué respuestas fallaron.
Un chatbot rara vez avisa cuando falla. El visitante pregunta, no obtiene una respuesta útil y se va. Bot Check cambia las reglas: la IA le hace hasta 15 preguntas a tu chatbot, evalúa cada respuesta y explica en una frase por qué falló. Puedes añadir la respuesta faltante en esa misma pantalla y la pregunta se volverá a probar al instante.
Esta guía sigue un ejemplo de principio a fin: Northstar Services, una pequeña empresa de TI. Cada captura procede de un panel de pruebas local real y cada respuesta es una contestación real del chatbot. La empresa y sus visitantes son ficticios.
Se reproduce aquí mismo, sin terceros
Cómo probar un chatbot con IA y corregir respuestas incorrectas (Tutorial de Bot Check)
Descubra cómo evaluar su chatbot con IA ante dudas reales, analice fallos de respuesta y agregue los datos que faltan con Bot Check.
Qué obtendrá al final
- Sabrás cuántas preguntas de tus clientes responde correctamente tu chatbot
- Cada respuesta incorrecta incluye su causa en una sola frase
- Las respuestas que faltaban se integran en tu base de conocimiento, comprobado con una nueva prueba
- Una lista de preguntas que se repite en cada revisión para que los resultados sigan siendo comparables
- Sabrás cuándo la causa es el rol o el modelo de IA y qué herramienta utilizar
Antes de empezar
- Un chatbot con conocimientos configurados, como tu sitio web o un documento
- Plan Basic o superior, o el periodo de prueba gratis (3 revisiones por chatbot al día)
- Mensajes disponibles en tu cuota mensual: cada pregunta de prueba cuenta como un chat real
Revisar → Corregir → Volver a revisar
Bot Check formula tres tipos de preguntas: preguntas habituales de clientes que la IA redacta tras leer tu base de conocimiento, preguntas de visitantes reales sin respuesta en los últimos 90 días y tus propias preguntas. Por cada fallo indica una de tres causas: falta información, la información existe pero es difícil de localizar, o el chatbot disponía del dato y aun así respondió mal.
La causa determina qué paso dar. Si falta información, introduces la respuesta. Si es difícil de localizar, la IA prepara un texto a partir de tu contenido para que lo revises y apliques. Si la respuesta fue incorrecta a pesar de tener el contenido adecuado, hay que ajustar el rol y la página te lleva a la herramienta indicada. Tras cada ajuste se repite la pregunta para ver de inmediato si funcionó.
01–09
Configuración paso a paso
Abre Bot Check y elige tu chatbot
Una sola pantalla con un botón: Check now.
Haz clic en Bot Check en el menú de la izquierda. Si tienes varios chatbots, selecciona uno arriba. Si solo tienes uno, ya aparecerá seleccionado.
Antes del primer análisis, la página explica en tres pasos el proceso: la IA pregunta a tu bot, compruebas dónde falla e introduces la respuesta correcta. Bajo el botón verás cuántos mensajes consume la prueba como máximo. En el ejemplo, hasta 22 mensajes.
Haz clic en Check now
Tu chatbot responde y la IA examina cada respuesta.
Haz clic en Check now. Una barra muestra las cuatro fases: recopilación de preguntas, respuestas del chatbot, revisión por parte de la IA y preparación de soluciones. Tu chatbot dispone de hasta 90 segundos para el conjunto de respuestas. Lo que no alcance a responder en ese tiempo aparecerá en Not checked yet y se volverá a plantear en la siguiente revisión.
Cada pregunta de prueba descuenta de tu cuota mensual de mensajes igual que un chat real: un mensaje por la pregunta y otro por la respuesta. Los modelos premium consumen más mensajes. Las preguntas de prueba no aparecen en tus conversaciones, ni en Analytics ni en la sección Questions.
Revisa el resultado y la causa de cada respuesta errónea
El resultado indica cuántas respuestas fueron correctas y qué conviene mejorar primero.
En la parte superior verás el resultado; en el ejemplo, 4 de 8 preguntas respondidas correctamente. Debajo, What you should improve lista las preguntas que el chatbot contestó mal o de forma incompleta. Las preguntas de visitantes reales aparecen primero, ya que hubo clientes reales que no obtuvieron respuesta.
Cada elemento incluye una etiqueta con su origen: Typical customer question, Asked by a visitor o Your question. “Can I pay by invoice?” muestra Asked by 3 visitors. Bajo la pregunta, una frase indica el motivo; aquí: Your knowledge says nothing about this.
Más abajo, Answered correctly enumera lo que ya funciona. Pulsa en una pregunta para leer la respuesta de tu chatbot. Las tres causas posibles y cómo actuar ante cada una:
- Your knowledge says nothing about this: falta la información. Haz clic en Enter answer.
- The answer is in your knowledge, but your bot does not find it reliably: la IA ha redactado un texto con tu propio contenido. Haz clic en View suggestion, revísalo y aplícalo.
- Your bot had the right content in front of it and still did not answer correctly: añadir más contenido no lo solucionará. Haz clic en Improve the role.
Introduce la respuesta que falta
Una o dos frases bastan para responder.
Haz clic en Enter answer junto a la pregunta. La ventana muestra lo que respondió tu chatbot. El bot de Northstar indicó que no disponía de información confirmada sobre si era posible pagar por factura.
Escribe la respuesta correcta en What should your bot answer?. Con una o dos frases es suficiente. En el ejemplo: “Yes, you can pay by invoice. Payment is due within 14 days.” La IA no inventa respuestas en este paso, ya que solo tú conoces el dato.
Haz clic en Save and recheck
Tu respuesta pasa a la base de conocimiento y la pregunta se prueba de nuevo.
Haz clic en Save and recheck. Tu respuesta se guarda como una entrada de texto independiente en el conocimiento del chatbot, con el nombre de la pregunta. A continuación, la IA vuelve a hacerle la misma pregunta al bot. El proceso tarda unos segundos.
Si el chatbot responde bien ahora, la ventana lo confirmará y mostrará la nueva respuesta. La pregunta pasará a Answered correctly y el contador superior aumentará; en el ejemplo, de 4 a 5 de 8.
Si la respuesta sigue siendo incorrecta, redáctala con mayor precisión y guarda de nuevo. Esto sobreescribe la entrada sin duplicarla. En ese caso, la ventana también ofrece el enlace Open the saved entry in your knowledge para modificar o eliminar el texto.
Oculta preguntas irrelevantes
Not important elimina una pregunta de tu lista.
No todas las preguntas aplican a tu negocio. Northstar no imparte formación a empleados, por lo que “Do you offer training for employees?” no supone un vacío real. Haz clic en Not important. La pregunta dejará de computar y no se volverá a plantear. El resultado pasará a ser de 5 de 7.
Las preguntas descartadas quedan recogidas abajo en Hidden. Con Add back puedes devolver una pregunta a la lista activa.
Añade tus propias preguntas
Añade consultas frecuentes de llamadas o correos.
En Add your own question, escribe una pregunta que tus clientes suelan hacer por teléfono o email y pulsa Add. Northstar añade “How much is one hour of project work?”. El chatbot la recibe de inmediato y a los pocos segundos la pregunta se ubica en la sección correspondiente.
Tus preguntas personalizadas permanecen en la lista y se repiten en cada revisión. Puedes añadir hasta cuatro. Antes de la primera revisión general, las preguntas añadidas quedan en espera y se evalúan junto con las demás.
Vuelve a revisar tras modificar tu contenido
El resultado anterior se muestra junto al nuevo.
Cuando actualices contenidos (por ejemplo, al crear una página web o subir un documento), haz clic en Check again. Las preguntas de tu lista se volverán a formular. Los huecos disponibles se completarán con nuevas preguntas frecuentes y con dudas de visitantes reales que quedaron sin resolver.
Junto al nuevo resultado verás el anterior; en el ejemplo, 7 de 8 junto a Previous check: 6 de 8. Así sabrás de inmediato si los cambios surtieron efecto.
Cada lista admite como máximo 15 preguntas: 6 preguntas típicas de clientes, hasta 5 preguntas de visitantes y hasta 4 propias.
Usa las dos herramientas adicionales si la causa no es el contenido
Improve the role y Compare models se abren desde la parte inferior.
Bajo la lista, More tools ofrece dos utilidades para casos especiales. Cada una se abre en su propia pantalla y Back to Bot Check te devuelve a la lista principal.
Improve the role: el rol contiene las instrucciones que guían las respuestas del bot. La IA detecta dónde falla en Bot Check y sugiere mejores directrices. Una comparativa con las mismas preguntas demuestra si la sugerencia realmente responde mejor antes de aplicarla.
Compare models: dos o tres modelos de IA responden a las mismas preguntas. Podrás comprobar cuál responde mejor y su rapidez. Ambas opciones consumen mensajes de tu cuota, cuyo número se especifica antes de empezar.
Ejemplo y resultado
Vea la prueba práctica y su resultado
Cada tutorial incluye un caso de entrada definido, el resultado previsto y un registro transparente de las comprobaciones realizadas.
Ejemplo práctico: Cómo probar un chatbot con IA: detecta y corrige respuestas incorrectas con Bot Check
Este escenario exacto se completó con la cuenta temporal del tutorial.
Entrada exacta de la prueba
Yes, you can pay by invoice. Payment is due within 14 days.
Resultado previsto
Una vez introducida como respuesta a “Can I pay by invoice?” y guardada con Save and recheck, la pregunta pasa de What you should improve a Answered correctly, y el resultado aumenta en uno.
Qué se comprobó realmente
Registrado en un entorno de pruebas local: la primera revisión mostró 4 de 8 preguntas acertadas. Tras guardar la corrección, el chatbot respondió “Yes, you can pay by invoice. Payment is due within 14 days.” y el resultado subió a 5 de 8.
Consejos útiles
Consiga una configuración fiable
Pruebe con ejemplos realistas, guarde su punto de partida y modifique un solo ajuste cada vez para evaluar las mejoras con claridad.
Empieza por las preguntas de visitantes
Eran dudas de clientes reales que no obtuvieron respuesta. Cada corrección aquí soluciona un obstáculo con el que alguien ya se ha encontrado.
Redacta la respuesta tal y como la dirías
Basta con una o dos frases claras que incluyan el dato exacto: un precio, un plazo o una condición.
Vuelve a revisar tras cada cambio importante
Páginas nuevas, tarifas modificadas o documentos añadidos: la comparación con el análisis previo muestra de inmediato si el chatbot ha mejorado o empeorado.
Modifica el rol solo cuando la herramienta lo sugiera
Casi todos los fallos se deben a datos ausentes. Cambiar las instrucciones no sirve de nada si el dato en sí no existe.
Si algo no funciona
Resolución de problemas
Revise el estado, los permisos y los datos de prueba de forma sistemática antes de cambiar el modelo o la instrucción.
La página indica que tu bot aún no tiene base de conocimiento
Abre tu chatbot, añade un sitio web o un documento en Knowledge y espera a que termine de procesarse. Después inicia de nuevo la revisión.
El análisis se ha detenido antes de tiempo
Se ha agotado tu cuota mensual de mensajes o el chatbot tardó demasiado en contestar a ciertas preguntas. Las restantes quedan en Not checked yet y se probarán en el siguiente análisis.
Tras guardar la corrección, el chatbot sigue respondiendo mal
El texto está guardado. Redacta la respuesta con más claridad y vuelve a guardar para sobreescribir la entrada. Si sigue fallando, el problema reside en el rol: haz clic en Improve the role.
El resultado varía entre dos análisis sin haber modificado nada
El chatbot redacta cada respuesta de forma independiente. Una respuesta dudosa puede darse por buena una vez y por mala la siguiente. Si una pregunta oscila continuamente, trátala como una carencia y añade una respuesta explícita.
El periodo de prueba no permite hacer más análisis hoy
Durante el periodo de prueba dispones de 3 análisis por chatbot al día. Podrás continuar mañana. Los planes de pago no tienen este límite.
Listo para una prueba tipo producción
Ejecuta tu primer análisis ahora, corrige primero las preguntas de visitantes y vuelve a revisar cada vez que modifiques tu contenido.
Recursos relacionados
Detectar preguntas sin respuesta y lagunas de conocimiento
Transforme una pregunta real de un visitante sin respaldo documental en un flujo de trabajo de mejora seguro y verificable.
Elegir el mejor modelo de IA para su chatbot
Compare calidad, latencia, coste de cuota y uso de herramientas mediante un conjunto de regresión fijo.
Corregir respuestas incorrectas del chatbot
Añada comprobaciones de fuentes, respuestas de reserva seguras y pruebas de regresión a su flujo de trabajo de conocimiento.
Referencia de Bot Check
Consulta todos los límites, las tres causas y ambas herramientas adicionales en la documentación.
