Een sitemap is een bestand dat de URL’s van een website opsomt om de architectuur ervan aan zoekmachines te beschrijven. Het meest voorkomende formaat, XML, stelt Googlebot en andere crawlers in staat om pagina’s te ontdekken zonder uitsluitend afhankelijk te zijn van de interne linkstructuur. De aanwezigheid van een sitemap garandeert geen indexering, maar versnelt wel de verwerking van inhoud door crawlers, vooral op sites waarvan de structuur vaak verandert.
Sitemap en AI-agenten: een bestand dat alleen nog maar met Google spreekt
De meeste SEO-gidsen presenteren de XML-sitemap als een hulpmiddel voor traditionele zoekmachines. Deze visie is onvolledig. AI-agenten en zoekassistenten doorzoeken tegenwoordig het web om hun antwoorden te voeden, en hun gedrag ten opzichte van sitemaps verschilt aanzienlijk van dat van Googlebot.
Aanvullende lectuur : Ontdek hoe u uw bedrijf kunt stimuleren met een innovatieve online serviceplatform
Recente tests tonen aan dat bepaalde AI-agenten de richtlijnen van het robots.txt-bestand negeren terwijl ze toch pagina’s ophalen. De sitemap, oorspronkelijk ontworpen om crawlers te begeleiden die de protocollen respecteren, heeft dus niet langer dezelfde controle over alle robots die een site bezoeken.
Een goed gestructureerde sitemap blijft nuttig voor traditionele zoekmachines, maar is niet meer voldoende om te beheersen hoe de inhoud wordt doorzocht en hergebruikt. Om beter te begrijpen hoe dit type bestand samenhangt met de structuur van een site, is het mogelijk om zazieweb.fr te raadplegen voor meer informatie over de praktische toepassing.
Aanvullende lectuur : Ontdek hoe u uw bedrijf kunt stimuleren met de middelen van Finance Technique
Deze realiteit vereist dat we de sitemap beschouwen als een component onder andere, niet als de enige sleutel tot zichtbaarheid.
Structuur van de XML-sitemap: tags en hiërarchie van URL’s
Een sitemap.xml-bestand is gebaseerd op een beperkte vocabulaire van tags. De root-tag <urlset> bevat een reeks blokken <url>, waarbij elk blok een pagina van de site beschrijft. Binnen elk blok geeft de tag <loc> het volledige adres van de pagina aan.
Drie optionele tags completeren deze structuur:
- <lastmod> specificeert de datum van de laatste wijziging van de pagina, wat crawlers helpt om recent bijgewerkte inhoud te prioriteren in plaats van alles opnieuw te doorzoeken bij elke passage.
- <changefreq> suggereert een wijzigingsfrequentie (dagelijks, wekelijks, maandelijks), maar Google heeft bevestigd deze waarde niet te gebruiken om de crawlfrequentie aan te passen.
- <priority> kent een relatieve score toe tussen 0.0 en 1.0 aan elke URL, bedoeld om het belang van een pagina ten opzichte van andere pagina’s op dezelfde site aan te geven. In de praktijk wordt deze tag grotendeels genegeerd door zoekmachines.
Met andere woorden, alleen de tags <loc> en <lastmod> hebben een reëel effect op het gedrag van robots. Het zorgvuldig invullen van <changefreq> en <priority> voor elke URL is tijdverspilling. Het is beter om de inspanning te concentreren op de selectie van de URL’s die in het bestand zijn opgenomen.
URL’s filteren: wat de sitemap niet zou moeten bevatten
De meest voorkomende fout is het genereren van een sitemap die alle URL’s van de site opsomt. Pagina’s met noindex, 301-omleidingen, duplicaatinhoud door sorteervariabelen of paginering, lege archiefpagina’s: alles eindigt in het standaardbestand, vooral met WordPress-extensies die de sitemap automatisch genereren.
Een effectieve sitemap bevat alleen de pagina’s die bedoeld zijn voor indexering. Elke URL die in het bestand staat, stuurt een signaal naar de zoekmachines: deze pagina verdient het om gecrawld te worden. Het opnemen van pagina’s van lage kwaliteit verzwakt dit signaal en verspilt het crawlbudget.
Al enkele maanden filtert Google steeds agressiever pagina’s die als redundant of van lage kwaliteit worden beschouwd. De dekkingsrapporten in de Search Console tonen een stijging van de status “Ontdekt – momenteel niet geïndexeerd” op WordPress-sites waarvan de sitemap niet is opgeschoond. De interne linkstructuur weegt zwaarder dan de sitemap bij de beslissing om een pagina al dan niet te indexeren. Een weesinhoud, zelfs aanwezig in de sitemap, heeft weinig kans om te worden behouden.
De operationele regel is eenvoudig: als een pagina geen interne link heeft die naar haar verwijst en geen verkeer aantrekt, heeft ze niets te zoeken in de sitemap.
Pagina’s die systematisch moeten worden uitgesloten
- URL’s met sessie-, sorteer- of filterparameters die duplicaten van inhoud creëren.
- Pagina’s die met een wachtwoord zijn beveiligd of inhoud die is gereserveerd voor ingelogde gebruikers, die Googlebot niet kan crawlen.
- Pagina’s met een noindex meta-tag, waarvan de gelijktijdige aanwezigheid in de sitemap een technische tegenstrijdigheid creëert.
- Oude URL’s met 301-omleidingen: de sitemap moet naar de uiteindelijke bestemming wijzen, niet naar het oorspronkelijke adres.
Sitemap en site-structuur: twee complementaire logica’s
De sitemap beschrijft een platte lijst van URL’s. Het drukt de hiërarchie van secties, categorieën of navigatieniveaus niet uit. De structuur van de site wordt opgebouwd door de interne linkstructuur, niet door de sitemap.
Het verwarren van de twee leidt tot een veelvoorkomende redeneerfout: geloven dat het toevoegen van een pagina aan de sitemap voldoende is om deze in de structuur van de site op te nemen. Zoekmachines evalueren de diepte van een pagina (het aantal klikken vanaf de startpagina) en de dichtheid van interne links die naar haar verwijzen. Deze structurele signalen wegen veel zwaarder dan de eenvoudige aanwezigheid in een XML-bestand.
Op een site met honderden pagina’s maakt het segmenteren van de sitemap in verschillende thematische bestanden (één per sectie of per type inhoud) het diagnosticeren gemakkelijker. Wanneer het dekkingsrapport problemen signaleert, kost het enkele seconden om de betreffende sectie te identificeren in plaats van door een enkel bestand van duizenden regels te bladeren.
Indienen en onderhoud van de sitemap in de Search Console
Het indienen van de sitemap bij Google gebeurt via de Search Console, sectie “Sitemaps”. De URL van het bestand (meestal /sitemap.xml of /sitemap_index.xml) wordt één keer opgegeven. Google komt het vervolgens op zijn eigen tempo bekijken.
Regelmatig het dekkingsrapport controleren na elke indiening maakt het mogelijk om fouten op te sporen: URL’s die een 404-code retourneren, pagina’s die zijn uitgesloten door een tegenstrijdige robots.txt-regel, of inhoud die als duplicaat is gedetecteerd. Een ingediende sitemap die vervolgens wordt vergeten, verliest na verloop van tijd zijn waarde, naarmate pagina’s worden verwijderd of verplaatst zonder dat het bestand wordt bijgewerkt.
Het opgeven van de locatie van de sitemap in het robots.txt-bestand (via de Sitemap-directive gevolgd door de absolute URL) blijft een goede aanvullende praktijk. Robots die niet via de Search Console gaan, kunnen het bestand op deze manier rechtstreeks vinden.
De sitemap is nooit een magische hefboom voor indexering geweest. Het is een communicatietool tussen een site en zijn geautomatiseerde bezoekers, waarvan het nut volledig afhangt van de nauwkeurigheid waarmee het wordt onderhouden en de kwaliteit van de architectuur die het weerspiegelt.