Eén XML sitemap voor al je subdomeinen

10 Mar 2015

Welke pagina's van je website zijn nu eigenlijk geindexeerd en zijn alle pagina's van je subdomeinen daarin ook meegenomen? Als site eigenaar wil je controle hebben over dat proces zodat je weet of de belangrijkste pagina's in je website zijn geindexeerd. Het is nagenoeg onmogelijk om te weten via welke externe bronnen je website wordt geindexeerd. Google en Bing webmaster tools en Analytics software zijn geven inzicht, maar dan weet je nog niet alles.

Sitemap.xml

Op websites met een grote hoeveelheid pagina's kan het zijn dat niet alle pagina's bereikbaar zijn via sitelinks. Het is echter wel content die van toegevoegde waarde is voor de website. Zoekmachines zullen deze pagina's niet vinden door het volgen van sitelinks. Het is echter wel mogelijk om de links te laten indexeren via de XML sitemap. In de meeste content management systemen is het mogelijk om dergelijke sitemaps automatisch te laten genereren. Vervolgens kun je de URL toesturen aan de zoekmachines via de webmaster tools van bijvoorbeeld Google en Bing Standaard zullen zij verwachten dat de sitemap beschikbaar is op http://jouwdomein.com/sitemap.xml. Dat is dan ook de aanbevolen locatie. Je kunt echter aangeven hoe jouw xml bestand heet en waar die te vinden is.

Subdomeinen

Voor websites met veel subdomeinen geldt dat voor ieder van die subdomeinen een eigen sitemap nodig is. Alleen op die manier kun je een beetje controle krijgen over welke pagina's door zoekmachines worden geindexeerd. Als de sitemap van alle subdomeinen hetzelfde is kun je er voor kiezen om in de robots.txt de volgende regel op te nemen. Deze regel kan bijvoorbeeld direct onder de disallow regels worden geplaatst.

sitemap: http://www.cloudfocus.nl/sitemap.xml

Hiermee verwijs je crawlers op ieder subdomein naar dezelfde sitemap en weet je zeker dat de zoekmachines in ieder geval weten welke links je geindexeerd wil hebben.