Empecher le crawl d'un lien avec robots.txt

[dumbel]

Bonjour,

je souhaiterais ne pas utiliser le rel=nofollow pour l'un des liens externes de mon site.
J'ai donc eu l'idée d'empêcher le crawl de ce lien par l'intermédiaire du "robots.txt" du style:

Disallow: http://www.lelienexterne.tld/page.html

J'ai bon

[jeanluc]

Ben non.

On ne peut mettre que des liens internes dans robots.txt.

Jean-Luc

[Nikola]

Bonjour,

je souhaiterais ne pas utiliser le rel=nofollow pour l'un des liens externes de mon site.
J'ai donc eu l'idée d'empêcher le crawl de ce lien par l'intermédiaire du "robots.txt" du style:

Disallow: http://www.lelienexterne.tld/page.html

J'ai bon

Yes !

Exemple :
Dans robot.txt :

User-Agent: *
Disallow: /ton-repertoire/ta-page.html

Il me semble que via google webmaster tools, tu peux signaler ton robot.txt , c'est préférable.

[jeanluc]

Hem, hem, hem,...

Jean-Luc

[GUITEL]

Bonjour,

je souhaiterais ne pas utiliser le rel=nofollow pour l'un des liens externes de mon site.
J'ai donc eu l'idée d'empêcher le crawl de ce lien par l'intermédiaire du "robots.txt" du style:

Disallow: http://www.lelienexterne.tld/page.html

J'ai bon

Yes !

Exemple :
Dans robot.txt :

User-Agent: *
Disallow: /ton-repertoire/ta-page.html

Il me semble que via google webmaster tools, tu peux signaler ton robot.txt , c'est préférable.

Là il bloque toute une page pas un seul lien ?

[dumbel]

Merci Jean Luc ! (et aux autres)

Au fait, j'en profite pour te dire que ton annuaire est excellent et qu'il constitue pour moi une vraie référence ...

[jeanluc]

Merci.

Il y a quand même une astuce pour bloquer un lien externe en s'aidant de robots.txt: il faut passer par une redirection.

Puisque tu veux bloquer http://www.lelienexterne.tld/page.html, tu remplaces ce lien dans ton site par http://www.ton_domaine.tld/redirection_1234.html et tu fais en sorte que ce lien fasse une redirection vers la page externe (par .htaccess ou en PHP). Et dans robots.txt, tu mets :

Code: Tout sélectionner

User-agent: *
Disallow: /redirection_1234.html

Solution plutôt compliquée...

Jean-Luc

[Rod la Kox]

On ne pas mettre le lien...
C'est encore plus simple.

[Nikola]

Bonjour,

je souhaiterais ne pas utiliser le rel=nofollow pour l'un des liens externes de mon site.
J'ai donc eu l'idée d'empêcher le crawl de ce lien par l'intermédiaire du "robots.txt" du style:

Disallow: http://www.lelienexterne.tld/page.html

J'ai bon

Yes !

Exemple :
Dans robot.txt :

User-Agent: *
Disallow: /ton-repertoire/ta-page.html

Il me semble que via google webmaster tools, tu peux signaler ton robot.txt , c'est préférable.

Là il bloque toute une page pas un seul lien ?

Effectivement, j'avais lu la question un peu trop vite...


Et si tu fais un lien en javascript ..

sauf erreur de ma part Google ne le lis pas.

C'est ce qui me parrait le plus simple, propre et logique.

[nickargall]

Question (pour laquelle je pense connaître la réponse mais que je pose quand même): pourquoi ne veux tu pas ajouter un attribut rel="nofollow" sur ces liens ?

[Leonick]

pourquoi ne veux tu pas ajouter un attribut rel="nofollow" sur ces liens ?

parce que les moteurs suivent quand même les liens. Il ne lui transmettent juste aucun juice.
Entre parenthèse, y! ne tient pas compte des restrictions dans le robots.txt, il ne crawle pas la page mais affiche quand même l'url dans ses SERP. Et comme y! tient fortement compte des mots clés dans l'url et à fortiori dans le ndd, on peut se retrouver ainsi avec juste le ndd affiché en 1° page de SERP, alors même qu'on ne le veut pas.
Donc là dessus, gg est à des années lumières de y!, car il respecte la volonté du webmaster de ne pas afficher des liens.

[Madrileño]

Complément javascript :
http://www.webrankinfo.com/actualites/200605-googlebot-javascript.htm .
http://forum.webrankinfo.com/google-suit-les-liens-javascript-t25677.html .
http://forum.webrankinfo.com/googlebot-interprete-javascript-t38577.html .
http://forum.webrankinfo.com/google-analyse-code-javascript-desormais- ... 44018.html .
http://forum.webrankinfo.com/googlebot-execute-javascript-t62200.html .