Optimale besteding van het crawlbudget
13 miljoen gecrawlde irrelevante linkjes
Doordat alle filterpagina’s wel benaderd konden worden vanaf de categoriepagina’s én er meerdere filteropties per filter geselecteerd konden worden, ging Googlebot volledig los op de filterpagina’s. Pas na het crawlen van de URL naar de filterpagina zag Googlebot de ‘noindex,nofollow’ tag in de head van de pagina. Herhaal dit proces voor 200+ categorieën en het resultaat is als volgt: bijna 13 miljoen gecrawlde URL’s met een ‘noindex,nofollow’ tag.
Ontzettend zonde van het crawlbudget! Dit crawlbudget besteedt je liever aan je relevante indexeerbare pagina’s.
Filterlinkjes op basis van <div> ipv <a> elementen
Voor onze klanten, en dus ook De Notenshop, maken we gebruik van de Amasty Improved Layered Navigation module. Deze module zorgt ervoor dat je je filtering volledig naar wens kunt inrichten en voorzien van custom pages (unieke indexeerbare landingspagina’s) voor specifieke filteropties.
Deze module hebben we voorzien van een custom uitbreiding. Deze uitbreiding maakt het mogelijk om een setting aan te zetten waarbij de linkjes in de filtering worden verborgen. In plaats van dat ze als een <a> element worden ingeladen, worden ze met een <div> element ingeladen. Zo kan Googlebot de linkjes niet vinden, maar kan de bezoeker wel gewoon filteren: de bezoeker merkt geen verschil.
Filter linkjes op basis van <div> element: en de custom pages dan?
Top: de irrelevante linkjes in de filtering zijn verborgen. Maar, daar diende het volgende issue zich aan. Om relevante long-tail zoekopdrachten te targeten hebben we juist de filterpagina’s die wél relevant zijn voorzien van een custom page (indexeerbare filerpagina). Die landingspagina’s hebben we voorzien van een unieke H1, content, index,follow tag en een zelfverwijzende canonical URL zodat ze netjes geïndexeerd kunnen worden.
Met onze uitbreiding op de Amasty Improved Layered Navigation module waren ook deze pagina’s niet meer goed intern gelinkt. Dat zorgt voor problemen met de interne linkstructuur..
De oplossing? We bouwden onze Related Pages module
Ons team bestaat uit alle nodige disciplines, waaronder developers. Samen met onze developers besloten we zelf een oplossing te bouwen: de HYPERpremium module ‘Related Pages’.
Deze module haalt per categorie automatisch de indexeerbare filterpagina’s op en linkt ze onderaan op de relevante categoriepagina’s. Hierdoor zijn deze pagina’s tóch intern gelinkt vanaf meerdere categoriepagina’s binnen de shop.
Naast de categoriepagina’s worden de indexeerbare filterpagina’s ook automatisch gelinkt vanaf relevante productpagina’s. Maar vanaf de productpagina’s worden ook relevante categorieën met betrekking tot dat product gelinkt. De related pages module draagt in algehele zin dus bij aan de interne linkstructuur van de webshop.
Het effect na 4 maanden
Zoals verwacht was het aantal niet indexeerbare gecrawlde URL’s niet van de een op andere dag teruggelopen. Eind oktober 2023 is de wijziging voor De Notenshop doorgevoerd. Op dit moment, eind maart 2024, zien we dat het aantal is teruggelopen naar 2,25 miljoen en nog steeds dalend. Oftewel: de wijziging heeft precies gedaan wat we wilden. Een succescase!
Ook je crawlbudget optimaliseren?
Onze uitbreiding op de Amasty Improved Layered Navigation module, waarbij de filterlinkjes van een <a> naar een <div> element worden omgezet, hebben wij in een module beschikbaar gemaakt. Zo kunnen we die bij meerdere klanten uitrollen en wordt ook daar het crawlbudget voor search engine bots optimaal besteed. Hetzelfde geldt voor de door onszelf ontwikkelde Related Pages module, ten behoeve van de verbetering van de interne linkstructuur.