fiabilité tableau de bord et outils webmaster ?

[fredwat]

Bonjour,
depuis ce matin le tableau de bord indique n'importe quoi...
URL restreintes par un fichier robots.txt 176 pages bloquées soit-disant par le robots.txt alors qu'en vérifiant le code est bien 200 !
Résultats visibles et immédiat ( ...alors là Gégé est devenu + rapide que son ombre) chute sur les deux requêtes principales de mon site job (en ligne depuis 3 ans)
Remarquez-vous le même phénomène (exclusion robots.txt) sur l'un de vos sites ? (ou plusieurs)
Vos avis et expériences sont les bienvenues

[wullon]

Je n'ai pas tout saisi.

Le code renvoyé par une url peut être 200, et cette url peut être bloqué par le robots.txt !

[fredwat]

ce fichier robots.txt est en place depuis 3 ans et n'a pas été modifié
( User-agent: *
Disallow: )
Pige pas

[jeanluc]

Bonjour fredwat,

Je ne sais pas de quel site il s'agit, mais ce http://www.photo-industrielle.com/robots.txt n'est pas valide.

Il faut sauter une ligne entre chaque groupe de directives. Tu dois l'écrire comme ceci:

Code: Tout sélectionner

User-agent: *
Disallow:

User-agent: QuepasaCreep
Disallow: /

User-agent: BotRightHere
Disallow: /

ou, au choix, comme ceci:

Code: Tout sélectionner

User-agent: *
Disallow:

User-agent: QuepasaCreep
User-agent: BotRightHere
Disallow: /

Jean-Luc

[fredwat]

salut Jean-luc
non il s'agit de l'autre
mais je te remercie pour l'info au sujet du second site !
Vois-tu ce qui merdouille ?
@+
amicalement
Fred

ps: comme le dit Jean-Luc "Je ne vois pas ce qui peut gêner Google"
je demeure donc perplexe quant aux infos données par les outils (et du déclassement qui semble en découler )

[jeanluc]

Pour l'autre, rien à redire. Je ne vois pas ce qui peut gêner Google.

Jean-Luc

[fredwat]

Au final je l'ai viré (ce fichier); je verrai bien ce qui se passe

[Ytz]

J'ai plusieurs sites sans robots.txt (pas le besoin), j'en avais mis puis enlever, jamais vu de différence...

La seule chose est que le passage d'un robots envoie une erreur 404...pas si grave (?)

Ytz.

[jeanluc]

Pas grave du tout, si cela ne te gêne pas de voir ces codes 404 dans tes logs.

Les robots des moteurs de recherche adorent les sites sans robots.txt. Ils savent que cela veut dire qu'ils sont les bienvenus dans tout le site. Donc pour eux, c'est parfait.

Tu peux aussi créer un robots.txt vide avec Notepad. Tu éviteras ainsi les codes 404.

Jean-Luc

[Ytz]

Est ce que cela veut dire qu'un robot.txt vide n'est pas gênant... ?

Ytz.

[jeanluc]

Oui. Absolument aucun inconvénient pour le référencement.

Jean-Luc

[goldstreet]

Bonjour,

Quand vous dites vide, c'est vide vide ?
ou vide :

User-agent: *
Disallow:

------------------

Ma théorie la dessus est que le phénomène de "sand box ou 950" se situe à ce niveau là (pour les sites conformes),
je site :



URL inaccessible /robots.txt inaccessible

Avant d'explorer les pages de votre site, GoogleBot tente de lire votre fichier robots.txt afin d'exclure de cette exploration les pages mentionnées dans ce fichier.

Le fichier robots.txt étant inaccessible.

Pour ne pas risquer d'explorer des pages que vous auriez décidé de soustraire à ce processus, GoogleBot difère son exploration.

Lorsque cela se produit, GoogleBot attend quelque temps avant de revenir sur votre site et n'explore celui-ci qu'après avoir pu atteindre le fichier robots.txt.

Notez que cette erreur n'est pas équivalente à l'obtention d'une réponse 404 pendant la recherche du fichier robots.txt.

-----> Dans le cas d'une réponse 404, nous supposons que le fichier robots.txt n'existe pas et poursuivons l'exploration.

-----------------------------------

L'inexistance du fichier n'est pas un problème mais ralentit donc le processus.

J'ai poussé mes recherches la dessus les résultats d'un site faisait du yoyo (indexation, desindexation).

Merci à tous et j'espère avoir apporté ma petite graine avec ce premier message :>

[jeanluc]

Bonjour et bienvenue,

Il n'y a pas de raison de penser que l'absence de robots.txt retarderait ou compliquerait l'indexation. L'absence de ce fichier renvoie immédiatement le code 404 au robot qui le cherche. Il n'y a donc aucun délai et l'absence du fichier a une signification claire: aucune restriction pour les robots. Dans un certain sens, le fichier est "inaccessible", mais pas pour Google car le serveur répond "code 404".

Ce que Google appelle "inaccessible" est autre chose. Il s'agit d'erreurs qui font que le visiteur (robot ou navigateur) ne reçoit aucun code en retour. Cela se passe quand il y a des problèmes de DNS, des problèmes de surcharge serveur, etc. Google a raison de distinguer ce cas, parce qu'un serveur qui a un problème temporaire peut avoir un fichier robots.txt qui restreint les droits de visite des robots.

Jean-Luc

[goldstreet]

Rebonjour,

Je sais pas j'ai lu ca dans leur FAQ, c'etait une hypothèse,
par contre la tienne est correct,
je marche avec un rewritting avec des dossiers virtuels, serait-ce la cause d'un non retour de réponse (200 ou 404) , qui fait que mon "GoogleBot" se comporte comme ca et retarde le référrencement ?

Ps : merci pour la bienvenue et mon nom aussi c'est JL

Question : y' aurait t-il quelqu'un de callé pour une brève analyse en PV d'un site (pour amélioration du poitionnement) ? siou plait
(pour le ranking ca va je suis passé a pr3 cette nuit, pour un ndd acheter le 2007-09-28), mais il ressort très mal des pages plus appropriés au détriment d'autres.