J'ai regroupé dans un même dossier les résultats de plusieurs tests que j'ai effectués ces dernières semaines, sur le crawl, l'indexation et les interdictions de crawl et d'indexation. Google ne réagit plus de la même façon qu'il y a plusieurs années...
J'ai également testé et validé l'utilisation de la directive Noindex dans le fichier robots.txt, qui n'est documentée ni dans le standard ni chez Google, mais que Google semble pourtant bien suivre.
Bonne lecture ! et surtout n'hésitez pas à commenter et proposer d'autres pistes d'étude ou d'approfondissements.
J'ai également testé et validé l'utilisation de la directive Noindex dans le fichier robots.txt, qui n'est documentée ni dans le standard ni chez Google, mais que Google semble pourtant bien suivre.
Bonne lecture ! et surtout n'hésitez pas à commenter et proposer d'autres pistes d'étude ou d'approfondissements.