Een XML-sitemap lijst uw URL’s voor zoekmachines, maar alleen de aanwezigheid ervan garandeert noch het crawlen, noch de indexering van uw pagina’s. De echte vraag is wat de crawlers rapporteren zodra het bestand is ingediend: komt het probleem voort uit de ontdekking van de URL’s, de waargenomen kwaliteit ervan, of een technische blokkade die de sitemap niet oplost?
Diagnose Search Console: sitemap, ontdekking en indexering zijn niet hetzelfde probleem
Wanneer Google Search Console niet-geïndexeerde URL’s meldt, zijn er drie categorieën van oorzaken. Deze verwarren leidt tot aanpassing van de sitemap terwijl het probleem elders ligt.
| Type probleem | Symptoom in Search Console | Kan de sitemap helpen? |
|---|---|---|
| Ontdekking | URL ontbreekt in het dekkingsrapport, status “Gedetecteerd, nog niet gecrawld” | Ja: toevoegen aan de sitemap signaleert de URL aan de crawler |
| Crawlen geblokkeerd | “Geblokkeerd door robots.txt” of serverfout (5xx) | Nee: de sitemap omzeilt geen technische blokkade |
| Kwaliteit / relevantie | “Gecrawld, niet geïndexeerd” of “Dubbele pagina zonder canonieke URL” | Nee: Google oordeelt dat de inhoud onvoldoende of redundant is |
Een URL gemarkeerd als “Gedetecteerd, nog niet gecrawld” betekent dat Googlebot het adres kent maar het nog niet heeft bezocht. De sitemap speelt hier zijn rol: het versnelt de ontdekking. Aan de andere kant, bij de status “Gecrawld, momenteel niet geïndexeerd”, heeft de sitemap zijn missie vervuld, het probleem ligt elders.
Uw sitemap segmenteren op type inhoud (productpagina’s, artikelen, categorieën) maakt het mogelijk om de rapporten van Search Console per bestand te filteren. U kunt dan identificeren of een hele groep pagina’s een kwaliteitsprobleem vertoont, zonder de signalen te verwarren.
Waarde van lastmod en thematische segmentatie van de XML-sitemap
De lastmod-tag moet een werkelijke wijziging van de inhoud weerspiegelen, niet een simpele aanpassing van de voettekst of een cosmetische datumwijziging. Google gebruikt deze waarde wanneer deze consistent en verifieerbaar is. Een sitemap waarvan alle datums dagelijks veranderen, verliest alle geloofwaardigheid in de ogen van de crawler.
U vindt op de site Connect Info aanvullende bronnen over de structuur en het beheer van sitemap-bestanden.
Thematische segmentatie gaat verder dan de technische beperking van grootte (de limiet blijft vastgesteld door het sitemaps.org-protocol). Het creëren van een bestand voor productbladen, een ander voor redactionele inhoud en een derde voor categoriepagina’s biedt een concreet voordeel: in Search Console heeft elke sitemap zijn eigen dekkingsrapport.
- Een product-sitemap waarvan de meerderheid van de URL’s “Gecrawld, niet geïndexeerd” weergeeft, wijst op een probleem van dubbele of te dunne inhoud op de bladen
- Een redactionele sitemap met URL’s “Gedetecteerd, nog niet gecrawld” duidt op een gebrek aan interne linking of een onvoldoende crawlbudget
- Een categorie-sitemap die fouten in canonicalisatie toont, onthult een conflict tussen geparametriseerde URL’s en schone URL’s
Sitemap XML en IndexNow: twee complementaire mechanismen
De sitemap biedt een duurzaam overzicht van alle te indexeren URL’s. IndexNow dient om bepaalde zoekmachines te informeren over een eenmalige wijziging (toevoeging, update, verwijdering). Bing raadt aan om beide aanvullend te gebruiken: de sitemap voor de globale kaart, IndexNow voor signalen in real-time.
De notificatie via IndexNow garandeert geen indexering. Het versnelt de verwerking door de crawlers van Bing en Yandex. Google heeft het protocol tot op heden niet aangenomen, wat de XML-sitemap des te centraler maakt voor het Google-ecosysteem.
Uitbreidingen van de sitemap volgens het type inhoud
Google documenteert specifieke uitbreidingen voor afbeeldingen, video’s en hreflang-annotaties. Elke uitbreiding voldoet aan een specifieke indexeringsbehoefte: de afbeeldingsuitbreiding maakt het mogelijk om visuals te signaleren die gehost worden op een CDN dat verschilt van het hoofddomein, de video-uitbreiding biedt de duur en de miniatuur, en hreflang beheert de taalspecifieke targeting tussen versies van dezelfde inhoud.
Alle uitbreidingen inschakelen op een site die alleen tekst publiceert, voegt niets toe. De keuze wordt gemaakt op basis van de daadwerkelijk aanwezige inhoud:
- E-commerce site met fotogalerijen: afbeeldingsuitbreiding voor elk productblad
- Media die videoreportages publiceert: video-uitbreiding met volledige metadata (titel, beschrijving, duur, miniatuur)
- Meertalige site: hreflang-annotaties in de sitemap in plaats van in elke head-tag, om het onderhoud te vereenvoudigen
- Monolinguale blog zonder video of galerie: geen uitbreiding nodig, de standaard XML-sitemap is voldoende
Interne linking en sitemap: wat het XML-bestand niet vervangt
Een sitemap signaleert URL’s aan crawlers, maar verzendt geen autoriteit tussen de pagina’s. Interne linking blijft de hefboom die het linkgewicht (interne PageRank) distribueert en die uw inhoud in de ogen van Google hiërarchiseert.
Een weespagina die aan de sitemap is toegevoegd, wordt misschien ontdekt, maar zelden duurzaam geïndexeerd als er geen interne link naar verwijst. De status “Gecrawld, momenteel niet geïndexeerd” in Search Console betreft vaak pagina’s die alleen via de sitemap toegankelijk zijn, zonder navigatiecontext.
Controleer de consistentie tussen sitemap en architectuur
Vergelijk regelmatig de URL’s van uw sitemap met diegene die daadwerkelijk in uw structuur zijn gelinkt. Elke URL die in de sitemap staat maar ontbreekt in de interne linking is verdacht. Ofwel verdient het een contextuele link vanuit een bovenliggende pagina, ofwel zou het niet in de sitemap moeten staan.
Deze kruiscontrole, gecombineerd met de gesegmenteerde rapporten van Search Console, transformeert de sitemap in een diagnostisch hulpmiddel in plaats van een simpele technische formaliteit. Het XML-bestand corrigeert niets op zichzelf, maar maakt zichtbaar wat niet goed functioneert in uw architectuur.
