Messages: 29

Enregistré le: 25 Juil 2014

Message le Jeu Juin 08, 2017 19:25

Hello,

Je viens de tomber sur cet extrait concernant le robots.txt :
Ensuite, et c’est moins connu, les URLs bloquées par le robots.txt ont un pagerank, reçoivent du pagerank, mais ne redonnent jamais le pagerank qu’on leur a transmis. Si vous bloquez massivement des URLs qui sont affichées sur votre site par des directives “disallow”, cela peut faire disparaître une part non négligeable du pagerank interne. J’ai encore vu un site ces jours-ci dont le robots.txt faisait disparaître 50% de son linkjuice !


Vous confirmez ? Du coup je me demande quel est l'intérêt réel de mettre des url dans ce fichier… hors celles qu'on ne veut pas être crawlées bien sûr…
Haut
4 Réponses
Messages: 8558

Enregistré le: 14 Mai 2003

Message le Jeu Juin 08, 2017 19:45

C'est bien aussi de citer ses sources ?
Haut
Messages: 29

Enregistré le: 25 Juil 2014

Message le Jeu Juin 08, 2017 20:27

spout a écrit:C'est bien aussi de citer ses sources ?

https://www.search-foresight.com/robots-txt-arretez-de-vous-tirer-une- ... s-le-pied/
Haut
Messages: 3286

Enregistré le: 3 Mai 2004

Message le Jeu Juin 08, 2017 20:29

PBG a écrit:Du coup je me demande quel est l'intérêt réel de mettre des url dans ce fichier… hors celles qu'on ne veut pas être crawlées bien sûr…

Il n'y pas de quoi se prendre la tête en cherchant d'autres utilisations de ce fichier.

robots.txt, c'est pour indiquer les URL qui ne doivent pas être crawlées et pour rien d'autre.
Haut
Messages: 37930

Enregistré le: 7 Juil 2004

Message le Ven Juin 09, 2017 9:12

Bonjour,
spout a écrit:C'est bien aussi de citer ses sources ?

Pourquoi ne pas citer un philosophe du robots.txt qui disait :
spout a écrit:AMHA le meilleur robots.txt:
Code: Tout sélectionner
 

. :mrgreen:

Cordialement.
Haut