Crawl budget, een term waar veel misverstanden rond zijn. Is het een factor, is het geen factor? Wanneer moet je rekening houden met crawl budget, enkel bij grotere sites of moet ook kleinere website hiermee rekening houden?
Om hier wat duidelijkheid in te scheppen schreef het Google Webmaster-team een artikel. Dat artikel kreeg deze week een update van Gary Illyes.
Based on a question from @pierrefar , i just updated the Crawl Budget blog post to include the following:
Q: Do URLs I disallowed through robots.txt affect my crawl budget in any way?
A: No, disallowed URLs do not affect the crawl budget.https://t.co/kVYj6XaNn0— Gary "鯨理" Illyes (@methode) June 21, 2019
Q: Do URLs I disallowed through robots.txt affect my crawl budget in any way?A: No, disallowed URLs do not affect the crawl budget.
Veel SEO’ers wisten dit waarschijnlijk al maar het disallowen van URL’s heeft dus wel degelijk een invloed op je crawlbudget. Een nofollow daarentegen niet altijd. Wanneer Google diezelfde URL zonder nofollow terugvindt op een andere site of pagina, dan wordt er toch crawlbudget aan besteed.
Ook je laadsnelheid heeft een positieve invloed op je crawlrate. Een snel ladende website is voor Google een teken dat het een hogere crawl rate aankan door bijvoorbeeld goede server
En als laatste, is crawl budget een ranking factor? Niet helemaal. Een betere crawl rate heeft geen directe invloed op je rankings. Niettemin is het wel belangrijk om zo meer pagina’s sneller in de zoekresultaten te krijgen.
De oude versie van het artikel kan je bekijken via deze URL:
https://web.archive.org/web/20190225211947/https://webmasters.googleblog.com/2017/01/what-crawl-budget-means-for-googlebot.html
Als technische SEO specialist staat Mathias dagelijks in voor de uitvoering van audits en migraties.
Daarnaast is hij ook beheerder & oprichter van de grootste Nederlandstalige SEO community op Facebook, SEO Benelux.
In deze groep kunnen Belgische en Nederlandse SEO’ers met elkaar discussiëren over technische SEO vraagstukken, algoritme updates, content, linkbuilding of gewoon eigenlijk alles die met white hat SEO te maken heeft.
Mathias Noyez
Laatste berichten van Mathias Noyez (toon alles)
- Officieel Google document over crawl budget geüpdatet - 24 juni 2019
- Diversity update: maximaal 2x dezelfde website in de top SERP’s - 9 juni 2019
- Nieuw design voor de mobiele zoekresultaten in Google - 25 mei 2019