Cómo indexar un sitio web completo para un chatbot con IA

Exporte el sitemap o enumere manualmente las URL representativas. Agrúpelas como contenido obligatorio, contenido opcional, variantes duplicadas y páginas prohibidas. Registre el idioma canónico y si los parámetros alteran el contenido o solo la ordenación, el seguimiento y la presentación.

El laboratorio ficticio de Northstar espera cuatro páginas útiles bajo `/tutorial-labs/website-indexing/`: descripción general, servicios, soporte y preguntas frecuentes. Se excluyen las variantes privadas, de búsqueda y de impresión. El inventario es el oráculo de pruebas: las páginas inesperadas invalidan la ejecución incluso si el estado de la fuente aparece en verde.

Abra el asistente aislado de `Website Crawl Lab`, elija Data Sources, seleccione Add Data Source y luego Website. El cuadro de diálogo indica explícitamente que solo agregue sitios web de su propiedad. Deténgase si el nombre de host, la ruta o los permisos no coinciden con el alcance aprobado.

Verifique la tarjeta Training data usage antes del rastreo. Registre el total de caracteres actual para poder atribuir el incremento a esta fuente. Un modelo más potente no compensa un rastreo excesivamente amplio o no autorizado.

Ingrese la raíz estable del laboratorio de Northstar y use la profundidad 2 para la primera ejecución controlada. La profundidad 0 indexaría únicamente la descripción general. La profundidad 1 alcanza los enlaces directos. Una profundidad vacía elimina el límite de nivel fijo y solo corresponde en una ejecución posterior tras haber validado las exclusiones.

Permanezca dentro de la raíz de la sección en lugar de comenzar en la página principal del dominio. WebChatAgent delimita el descubrimiento a la ruta de inicio, lo que hace útiles las fuentes de sitios web independientes cuando la documentación, el marketing y el soporte requieren selectores o calendarios de actualización distintos.

Despliegue Advanced. Configure el selector CSS en `main` solo después de revisar la descripción general, los servicios, el soporte y las preguntas frecuentes. Un selector que no esté presente en una plantilla puede generar una página vacía, mientras que uno demasiado amplio repite menús, textos de cookies y enlaces de pie de página en cada fragmento.

Agregue patrones de exclusión exactos para las variantes privadas, de búsqueda y de impresión del laboratorio. Los patrones distinguen entre mayúsculas y minúsculas. Revise cada uno frente a URL reales; un fragmento amplio como `/shop` puede excluir involuntariamente `/workshop`. Las páginas excluidas se mantienen fuera del índice, pero sus enlaces aún pueden seguirse para el descubrimiento.

Seleccione Add & Index una sola vez. Pending significa en cola, Processing significa que las páginas aún se están recuperando y extrayendo, Failed o Error requiere conocer la razón exacta, y Stopped significa que un usuario finalizó la ejecución. No cree una segunda fuente porque el primer trabajo parezca lento.

Si el recuento de páginas o el total de caracteres supera con creces el inventario, use Stop, guarde las pruebas e inspeccione los patrones antes de reintentar con una cuenta limpia. Completed confirma que el trabajo finalizó; aún no demuestra que el contenido esté limpio o que las respuestas sean correctas.

Abra Indexed URLs desde la fila del sitio web. El laboratorio debe contener exactamente las cuatro páginas canónicas planificadas. Busque `private`, `search`, `print`, signos de interrogación y variantes duplicadas con barra final. Registre los caracteres totales y compare la diferencia con la línea base previa al rastreo.

Delete elimina ahora una página indexada seleccionada, pero un rastreo posterior puede volver a descubrirla. Exclude también agrega un patrón permanente para futuros rastreos. Use Exclude para una familia de URL que deba permanecer fuera, luego vuelva a indexar y verifique nuevamente tanto la lista como el total de caracteres.

Utilice View indexed content en una página de cada plantilla. Confirme que el encabezado, las condiciones, las fechas y el dato único permanezcan juntos. Busque navegación repetida, banners de cookies, contenido de pie de página irrelevante y secciones faltantes debido al selector.

La frase de soporte conocida de Northstar indica que el objetivo de respuesta prioritaria es de dos horas hábiles e incluye el valor de verificación `NORTHSTAR-SITE-42`. Si esa frase completa no aparece, corrija la extracción antes de cambiar el modelo o la instrucción (prompt).

Pregunte: `What is the Northstar priority support response goal and website verification value?` La respuesta esperada es `two business hours` más `NORTHSTAR-SITE-42`, fundamentada en la página de soporte. Luego, pregunte por una tarifa de cancelación de 2029 que la muestra no contiene. La respuesta segura debe indicar que la información no está disponible y no inventar ningún importe.

Repita la pregunta conocida con dos variantes naturales. Si todas las variantes omiten el mismo dato, regrese al contenido extraído y a la recuperación antes de comparar modelos. Conserve estas preguntas exactas como el conjunto de regresión para rastreos posteriores.

Edite la fuente del sitio web solo después del primer resultado limpio. Elija sin reindexación automática, diaria, cada tres días, cada siete días o cada treinta días según la disponibilidad actual del plan y el ritmo de revisión del propietario. La frecuencia diaria no es automáticamente mejor para páginas de políticas estáticas.

Tras cada cambio de selector, exclusión, proveedor o fuente, espere a que figure Completed y vuelva a ejecutar las mismas preguntas conocidas y de información faltante. Registre fecha, profundidad, recuento de páginas, caracteres indexados y resultados. Investigue cualquier crecimiento inesperado antes de que alcance el límite del plan.