Optimiser le crawl Google

WRInaute impliqué
Bonjour,

Prenons un cas d'école, enfin un cas qui m'intéresse ! :lol:

J'ai sur un site des pages de profil de membres en très grand nombre avec peu de contenus donc mis en noindex depuis Panda (même si elles ont un intérêt pour les visiteurs).
Ces pages sont linkées un peu partout sur le site quand un membre intervient.

Les pages de profils représentent les 9/10ème des pages du site même si en noindex.

Donc google passe bcp de temps à les crawler alors que ca a peu d'intérêt.

Je voudrais donc l'en empecher en masquant ces liens.

- J'ai pensé au Nofollow sur les liens vers ces pages (mais je ne veux pas donner à GG l'impression de faire du PR Sculpting et donc de la suroptimisation).

- ou à du javascript (mais j'ai l'impression que GG l’interprète de mieux en mieux et que ca aurait peut-être le même effet).

Comment feriez-vous ?

Merci.
 
WRInaute passionné
Si tu utilises un CMS classique, pourquoi ne pas simplement modifier les templates afin de ne pas inclure les liens vers les pages "membres"? Généralement, ce n'est pas très compliqué de modifier les templates pour supprimer des liens. Tu ne laisses le lien du membre que dans les messages/interventions d'une discussion.

Eventuellement, en plus du "noindex" dans les pages membres, ajoute "noarchive" dans la meta robots (mais laisse le follow si tu as des liens qui pointent vers des pages de ton site)! Ca devrait éviter aux robots de venir trop souvent.
 
WRInaute impliqué
Merci de vos retours. Il s'agit d'un dev spécifique donc que je maitrise de A à Z. Je peux donc faire "facilement" ce que je veux.

Je ne souhaite pas supprimer les liens car ils sont utiles aux visiteurs.
Par contre je cherche la meilleure façon de les rendre invisibles à GG pour qu'il ne crawle pas de (nombreuses) pages en "noindex" inutilement et ne gaspillent pas sa capacité de crawl de mon site sur ces pages.

Si je les bloque au niveau du robots.txt, est-ce qu'il ne va pas tout de même fréquemment venir essayer de les crawler pour se voir refuser l'accès ?
 
WRInaute impliqué
OK donc unanimité pour le robots.txt.

Merci, ce n'était pas dans mes options et il n'y a pas plus simple à faire.

(Je vous tiendrai au courant si ça baisse mon nombre de pages quotidien explorées par GGbot).
 
Nouveau WRInaute
Bonjour Jeanne,

je relance ce topic, pour en savoir plus sur ce que vous avez décidé de faire, et quel a été le résultat ? (topic super intéressant)

Merci merci merci
 
Discussions similaires
Haut