Vanaf 1 september 2019 stopt Google met het verwerken van bepaalde regels in het robots.txt-bestand, waaronder de noindex instructie. Dat meldt de zoekgigant daags na het open-sourcen van de code die door de Googlebot gebruikt wordt om robots.txt te lezen en het voorstellen van een officiële standaard voor de regels in het protocol. In dat voorstel is er geen plaats voor regels als crawl-delay, nofollow en noindex. “Deze instructies zijn nooit door Google gedocumenteerd en daarom is het gebruik ervan[..]
Lees meerAuteur: Daniël Kuipers
Ik ben een online marketeer. Eentje met passie. Ik ben gek op social media, SEO en SEA. Kortom, het internet stroomt door mijn aderen. Stuur me een berichtje en ik help je graag vooruit.