Crawlen

Zodra een nieuwe pagina online staat, wil je natuurlijk dat deze getoond wordt in de zoekresultaten. Daarvoor is het belangrijk dat Google weet dat er een nieuwe pagina online staat. Daarvoor gebruiken zoekmachines software (ook wel ‘bots’ of ‘spiders’ genoemd). Deze software bezoekt websites om te kijken of er nieuwe pagina’s bij zijn gekomen, bestaande pagina’s gewijzigd of verwijderd zijn en er veranderingen in de content zijn aangebracht. Dit proces wordt ‘crawlen’ genoemd.

Na het crawlen gaat Google de pagina indexeren en vanuit daar wordt de pagina gerankt op relevante zoekwoorden.

Als je je verder verdiept in crawlen dan kom je de term ‘crawl budget’ veel tegen. Crawl budget is de hoeveelheid tijd die een crawler besteedt aan het crawlen van een website. En zoals het gaat met budgetten: deze wil je zo efficiënt mogelijk besteden.

Dit kun je beïnvloeden door de crawler instructies te geven. Zo heb je vast pagina’s op je website die niet getoond hoeven te worden in de zoekresultaten. Denk aan een ‘bedankt’-pagina achter een formulier of een inlog-pagina voor klanten. Deze pagina’s kun je een ‘no-index’ en ‘no-follow’ tag meegeven. Hiermee zeg je eigenlijk tegen Google: “Welkom op deze pagina. Deze pagina niet tonen in de zoekresultaten en de links op deze pagina niet volgen.” De meeste CMS systemen hebben deze mogelijkheid ingebouwd. Voor een WordPress-website kun je hier bijvoorbeeld de Yoast SEO-plugin voor gebruiken.

Er zijn verschillende SEO-technische mogelijkheden om het proces van crawlen en indexeren te beïnvloeden. Wees hier altijd voorzichtig mee. Het aanpassen van deze technische aspecten kan grote invloed hebben op de zichtbaarheid van de website in de zoekresultaten.