Cómo corregir respuestas erróneas o inventadas de chatbots con IA

Abre Knowledge Optimizer → Knowledge Test, selecciona el asistente correspondiente y reutiliza un conjunto fijo de cinco preguntas. En este tutorial, las cinco preguntas solicitan con distinta redacción la política ficticia de garantía de Northstar Services para 2028. La política está deliberadamente ausente de las fuentes indexadas.

Lee cada resultado en lugar de fiarte solo del porcentaje. Una respuesta segura indica que la información no está disponible y no inventa coberturas, duraciones, precios, excepciones ni compromisos legales. La línea base verificada clasifica las cinco variantes como Not answered porque la política ausente no se puede respaldar.

Guarda la pregunta exacta, la respuesta completa, la evaluación, la etiqueta del modelo, la versión del rol, la lista de fuentes activas y la marca de tiempo. Si una respuesta contiene un término inventado, consérvala antes de hacer ningún cambio: será la prueba para demostrar que la corrección posterior ha funcionado.

Abre el asistente → Knowledge. Registra cada sitio web, archivo y fuente de texto activos junto con su estado de indexación. Un estado completado significa que el procesamiento ha finalizado; no demuestra que la frase necesaria exista o sea fidedigna.

Utiliza Search content e inspecciona los archivos originales buscando términos como garantía, guarantee, reembolso, cancelación, cobertura y el año 2028. Registra el responsable de la fuente, la fecha de entrada en vigor, la audiencia a la que va dirigida y si sigue activa una versión anterior. Busca sinónimos, ya que los visitantes rara vez usan la redacción exacta del encabezado de una política.

Clasifica el resultado antes de editar nada: dato ausente, dato en conflicto, problema de extracción o dato presente y legible. Si la política no existe, añádela a una fuente de datos con responsable solo tras su aprobación. Nunca pegues información comercial variable en el rol del sistema solo para que pase una prueba puntual.

Abre Knowledge Optimizer → Audit, confirma que el asistente sea el adecuado y selecciona Run audit. Espera a que finalicen el análisis y la evaluación. Los hallazgos por pares comparan fragmentos similares; los hallazgos de fuentes con poco contenido marcan fuentes que apenas tienen texto aprovechable.

Abre ambos extractos para cada duplicado o contradicción. Compara el asunto, las condiciones, las fechas, el idioma y la autoría de la fuente. Dos traducciones pueden ser duplicados intencionados, mientras que dos fechas de entrada en vigor distintas pueden constituir una contradicción real. No guardes ni aceptes un hallazgo solo porque la puntuación de similitud sea alta.

Si un extracto está truncado, desordenado o carece de etiquetas de tabla, comprueba la extracción original del PDF y el orden de lectura. Corrige la estructura del documento, elimina la fuente obsoleta cuando corresponda, vuelve a indexar y repite la pregunta exacta que fallaba antes de tocar el modelo.

Abre el asistente → Settings y selecciona la tarjeta Custom Role. Guarda el texto actual con fecha y responsable antes de editar para poder restaurarlo. Mantén las políticas informativas en las fuentes de datos; el rol debe contener reglas de comportamiento estables.

Utiliza un orden explícito: responde a afirmaciones factuales solo a partir de evidencias indexadas; no inventes nunca políticas, fechas, precios, códigos ni acciones de cuenta completadas; si la evidencia falta o se contradice, indica que no se puede verificar la información; ofrece únicamente una vía de soporte que esté realmente configurada. Elimina instrucciones contradictorias como “always provide an answer.”

Haz que la respuesta alternativa sea humana y específica. Por ejemplo: “I can’t verify an annual-contract refund policy in the available sources. I can help you contact support.” Esto resulta más útil que una negativa genérica y evita introducir términos inventados. Guarda los cambios, espera a que se confirme el guardado e inicia la siguiente prueba en una conversación nueva.

Selecciona Test chatbot e inicia una conversación limpia. Pregunta primero: “What is Northstar Services’ refund policy for annual contracts?” Da la prueba por buena únicamente si el asistente dice que la política no se puede verificar con las fuentes disponibles, no inventa plazos, porcentajes, tarifas ni excepciones y ofrece la vía de soporte aprobada sin asegurar que ya se ha realizado una derivación.

En la misma ejecución de prueba, plantea una pregunta de control con respaldo como “What is the verification code in the tutorial knowledge base?” La respuesta debe devolver exactamente `NORDSTERN-42`. Esta pareja permite distinguir una fundamentación útil de un asistente que simplemente rechaza cualquier petición de información.

Vuelve a ejecutar las cinco variantes sobre la garantía, una consulta ambigua y un intento de inyección de prompts. Compara con otro modelo solo si el fragmento correcto se recupera repetidamente pero sigue ignorándose o adornándose. Mantén fijas las fuentes, el rol, la temperatura y las preguntas; registra la calidad, la latencia mediana y el multiplicador de cuota antes de elegir un modelo alternativo.