Optimizador de conocimiento para chatbots de IA: tutorial completo

Abra Knowledge Optimizer → Knowledge Test, elija el asistente correspondiente y seleccione Custom Question. Añada cinco reformulaciones naturales que deban devolver el dato único del PDF `NORDSTERN-42`. Incluya la pregunta directa, una variante cortés y la redacción que emplearía un usuario real.

Anote el dato esperado, la fuente aprobada y la condición de aprobación antes de pulsar Start test. Una respuesta válida debe contener el código exacto, identificar el PDF de demostración de Northstar Services y evitar afirmaciones inventadas sobre garantías, precios o disponibilidad.

Mantenga la misma versión de la fuente, rol, modelo y temperatura. Añada una pregunta independiente sobre la garantía de 2028 sin respaldo documental para verificar un comportamiento seguro ante la falta de datos. Esto evita que una respuesta fluida o una configuración de prueba modificada parezcan una mejora cuando no lo son.

La ejecución registrada muestra 5 respondida, 0 parcial, 0 sin respuesta y una puntuación de 100%. Abra cada resultado y confirme que cada respuesta contiene `NORDSTERN-42`, cita el PDF de demostración de Northstar Services y no añade afirmaciones inventadas sobre garantías, precios o disponibilidad.

Evalúe dos capas por separado. Primero, compruebe si se recuperó el fragmento correcto. Luego, juzgue si la respuesta es precisa, está respaldada por ese fragmento, es lo bastante completa para la pregunta y carece de añadidos sin fundamento. Una sola puntuación global puede ocultar una respuesta fluida basada en evidencias débiles.

Esto demuestra que el PDF indexado y la ruta de recuperación funcionan para el dato conocido. No demuestra que el chatbot conozca una política de garantía de 2028. Plantee esa pregunta sin respaldo por separado y espere una respuesta segura de “no information” en lugar de una suposición.

Abra Optimize para revisar las lagunas de conocimiento extraídas de conversaciones reales con usuarios. La cuenta verificada del tutorial está vacía porque los Knowledge Tests controlados no generan tráfico ficticio de clientes. En producción, elija un intervalo de 30 o 90 días, ejecute Analyze, abra la conversación original y verifique cada sugerencia con el responsable oficial y la fuente autorizada antes de aceptarla.

Utilice Audit cuando necesite una revisión global en lugar de examinar un fallo puntual conocido. Analiza datos obsoletos, contradicciones, cobertura insuficiente y estructuras deficientes. Trate cada hallazgo como un elemento priorizado de una lista de verificación: lea el fragmento afectado, confirme el dato aprobado más reciente y decida si edita la fuente o descarta el aviso. Nunca utilice Save to Inbox como una aprobación automática.

Un resultado vacío en Optimize significa “no conversation-derived suggestion in this range”, no “the knowledge base is perfect”. El vídeo publicado con clics reales ejecuta Audit hasta el final y muestra el resultado auténtico. También verifica que no se guardó ningún hallazgo, no se aplicó ningún rol y no se cambió de modelo automáticamente.

Abra Role y utilice las variantes de la pregunta sobre la garantía de 2028 sin respaldo para generar una propuesta. La sugerencia visible mantiene las respuestas breves, exige evidencias indexadas, prohíbe extrapolar y ordena al asistente indicar cuándo falta información. Son pautas de comportamiento razonables.

Aun así, un rol no puede inventar una política de garantía que no exista en una fuente aprobada. Lea Current role, Proposed role y Rationale en paralelo. Elimine cualquier instrucción que entre en conflicto con su proceso de soporte, ruta de escalado, tono requerido o redacción legal.

Deje la propuesta sin aplicar. Seleccione la prueba guardada de cinco preguntas como fuente A/B y compare el comportamiento actual y el propuesto ante entradas idénticas. Esto aísla el cambio de rol; editar la fuente o el modelo al mismo tiempo haría imposible atribuir el resultado.

Reutilice el último Knowledge Test para que ambos candidatos reciban las mismas cinco preguntas sobre el PDF. La comparación registrada muestra Vertex Gemini 2.5 Flash y Claude Haiku 4.5 con una calidad de 100%; la latencia mediana es de 2.6 segundos para Gemini y de 4.4 segundos para Claude, por lo que se recomienda el modelo actual para esta prueba.

Abra las respuestas de cada pregunta antes de tomar una decisión. Compruebe la exactitud de los datos, el uso de evidencias, el rechazo seguro ante falta de información, la exhaustividad y cualquier respuesta inusualmente lenta. Compare el consumo de cuota o el coste del modelo además de la latencia mediana; una mediana rápida no debe ocultar valores atípicos lentos y recurrentes o un comportamiento de seguridad inferior.

Una recomendación en verde no implica un ganador absoluto. Amplíe el conjunto de regresión con respuestas largas, ambigüedad, rechazo ante falta de datos, idioma y casos de uso de herramientas pertinentes para su chatbot. Cambiar de proveedor de IA puede requerir nuevos embeddings y una reindexación completa, así que guarde una copia de seguridad de la configuración actual y programe esa comparación por separado.

Ejecute exactamente las cinco preguntas sobre la garantía con el rol actual y el propuesto. El resultado registrado muestra 0% mejor, 3 empates y 2 peor. Abra los pares con peor resultado para comprobar si la nueva redacción se volvió menos precisa, menos útil o peor fundamentada. No toque Apply role y mantenga el rol actual.

Si la empresa realmente ofrece una garantía de 2028, añada la política aprobada (con responsable, fecha de entrada en vigor, alcance y excepciones) a una fuente oficial, vuelva a indexar y repita las pruebas de respuesta conocida y rechazo seguro. Si no existe tal política, la mejora adecuada es un mensaje de reserva seguro y coherente o una derivación a un agente humano, no una redacción más asertiva.

Antes de publicar cualquier cambio, registre la versión aprobada de la fuente, el rol, el modelo, el resultado de las cinco preguntas, el resultado de la pregunta sin respaldo y la latencia. Revise la bandeja Optimization Inbox de forma periódica y mantenga las sugerencias pendientes hasta que un responsable humano confirme tanto el dato como el resultado medido de la regresión.