Een volledige website indexeren voor een AI-chatbot

Exporteer de sitemap of maak handmatig een lijst van representatieve URL's. Groepeer ze als vereiste inhoud, optionele inhoud, dubbele varianten en verboden pagina's. Noteer de canonieke taal en controleer of parameters de inhoud wijzigen of alleen sortering, tracking en weergave beïnvloeden.

Het fictieve Northstar-lab verwacht vier nuttige pagina's onder `/tutorial-labs/website-indexing/`: overzicht, diensten, ondersteuning en FAQ. Privé-, zoek- en printvarianten zijn uitgesloten. De inventaris is het testcriterium: onverwachte pagina's laten de run mislukken, zelfs als de bronstatus groen is.

Open de geïsoleerde `Website Crawl Lab`-assistent, kies Data Sources, selecteer Add Data Source en vervolgens Website. Het dialoogvenster vermeldt uitdrukkelijk dat u alleen websites mag toevoegen waarvan u de eigenaar bent. Stop als de hostnaam, het pad of de toestemming niet overeenkomt met de goedgekeurde scope.

Controleer de kaart Training data usage vóór de crawl. Noteer het huidige totale aantal tekens, zodat groei aan deze bron kan worden toegeschreven. Een sterker model compenseert geen te brede of ongeautoriseerde crawl.

Voer de stabiele Northstar-lab-root in en gebruik diepte 2 voor de eerste gecontroleerde run. Diepte 0 zou alleen het overzicht indexeren. Diepte 1 bereikt directe links. Een lege diepte verwijdert de vaste niveaulimiet en hoort pas thuis in een latere run nadat uitsluitingen zijn bewezen.

Blijf binnen de sectie-root in plaats van te starten op de homepagina van het domein. WebChatAgent beperkt de ontdekking tot het startpad, wat afzonderlijke websitebronnen nuttig maakt wanneer documentatie, marketing en ondersteuning verschillende selectors of verversingsschema's vereisen.

Vouw Advanced uit. Stel de CSS-selector pas in op `main` na het controleren van overzicht, diensten, ondersteuning en FAQ. Een selector die ontbreekt op één sjabloon kan een lege pagina opleveren, terwijl een te brede selector menu's, cookieteksten en footerlinks in elk tekstfragment herhaalt.

Voeg exacte uitsluitingspatronen toe voor de privé-, zoek- en printvarianten van het lab. Patronen zijn hoofdlettergevoelig. Controleer elk patroon aan de hand van echte URL's; een te breed fragment zoals `/shop` kan onbedoeld `/workshop` uitsluiten. Uitgesloten pagina's blijven buiten de index, maar hun links kunnen nog steeds worden gevolgd voor ontdekking.

Selecteer eenmalig Add & Index. Pending betekent in de wachtrij, Processing betekent dat pagina's nog worden opgehaald en geëxtraheerd, Failed of Error vereist de exacte reden en Stopped betekent dat een persoon de run heeft beëindigd. Maak geen tweede bron aan omdat de eerste taak traag lijkt.

Als het aantal pagina's of het totale aantal tekens ver boven de inventaris uitstijgt, gebruik dan Stop, sla het bewijs op en inspecteer patronen voordat u het opnieuw probeert met een nieuw account. Completed bevestigt dat de taak is beëindigd; het bewijst nog geen schone inhoud of correcte antwoorden.

Open Indexed URLs vanuit de websiteregel. Het lab mag exact de vier geplande canonieke pagina's bevatten. Zoek naar `private`, `search`, `print`, vraagtekens en dubbele varianten met een slash aan het einde. Noteer het totale aantal tekens en vergelijk het verschil met de baseline van vóór de crawl.

Delete verwijdert nu een geselecteerde geïndexeerde pagina, maar een latere crawl kan deze opnieuw ontdekken. Exclude voegt ook een blijvend patroon toe voor toekomstige crawls. Gebruik Exclude voor een URL-familie die buiten de index moet blijven, indexeer vervolgens opnieuw en controleer zowel de lijst als het totale aantal tekens opnieuw.

Gebruik View indexed content op één pagina van elk sjabloon. Controleer of de kop, voorwaarden, datums en unieke feiten bij elkaar blijven. Zoek naar herhaalde navigatie, cookiebanners, niet-gerelateerde footerinhoud en ontbrekende secties veroorzaakt door de selector.

De bekende ondersteuningszin van Northstar stelt dat de prioritaire reactietijd twee werkuren is en bevat de verificatiewaarde `NORTHSTAR-SITE-42`. Als die volledige zin ontbreekt, herstel dan eerst de extractie voordat u het model of de prompt aanpast.

Vraag: `What is the Northstar priority support response goal and website verification value?` Het verwachte antwoord is `two business hours` plus `NORTHSTAR-SITE-42`, gebaseerd op de ondersteuningspagina. Vraag vervolgens naar een 2029-annuleringsvergoeding die niet in de gegevens voorkomt. Het veilige antwoord moet aangeven dat de informatie niet beschikbaar is en mag geen bedrag verzinnen.

Herhaal de bekende vraag met twee natuurlijke varianten. Als alle varianten hetzelfde feit missen, keer dan terug naar de geëxtraheerde inhoud en het ophalen van gegevens voordat u modellen vergelijkt. Bewaar deze exacte vragen als regressieset voor latere crawls.

Bewerk de websitebron pas na het eerste schone resultaat. Kies geen automatische herindexering, dagelijks, elke drie dagen, elke zeven dagen of elke dertig dagen, afhankelijk van de beschikbaarheid binnen uw abonnement en het evaluatieritme van de eigenaar. Dagelijks is niet automatisch beter voor statische beleidspagina's.

Wacht na elke wijziging aan selectors, uitsluitingen, providers of bronnen op Completed en voer dezelfde vragen met bekende en ontbrekende informatie opnieuw uit. Registreer datum, diepte, aantal pagina's, geïndexeerde tekens en resultaten. Onderzoek onverwachte groei voordat deze de limiet van het abonnement bereikt.