Vanaf 1 september 2019 stopt Google met het verwerken van bepaalde regels in het robots.txt-bestand, waaronder de noindex instructie. Dat meldt de zoekgigant daags na het open-sourcen van de code die door de Googlebot gebruikt wordt om robots.txt te lezen en het voorstellen van een officiële standaard voor de regels in het protocol. In dat voorstel is er geen plaats voor regels als crawl-delay, nofollow en noindex. “Deze instructies zijn nooit door Google gedocumenteerd en daarom is het gebruik ervan[..]
Lees verder