Comment savoir si google peut crawler

[JeunZ]

Sur mon site principal j'ai un problème de crawl je crois.

J'ai un robots.txt vide je ne veux interdire aucun crawl mais je ne veux pas me retrouver avec des milliers de lignes dans les logs apache disant qu'un moteur n'a pas trouvé le robot.txt.

Donc aucune restriction dans le robots.txt et pourtant dans google.com/webmaster il est dit qu'environ 1/3 des pages ne peuvent être crawlés à cause du robots.txt.

Quand je vais dans: "URL restreintes par un fichier robots.txt" il m'est dit: " Aucune erreur à vous présenter."

Je constate également un problème de PR sur mon site, mon index à un PR inférieur au reste de mon site alors qu'il possède beaucoup plus de backlinks, et beaucoup plus de backlinks de qualité.

Je n'ai aucun ciblage de la part de Google Adsense depuis le mois d'aout, et google me répond que le problème vient de leur coté mais qu'ils ne savent pas pour l'instant le résoudre.

Quand je tape: info:http://www.jeunz.com je me retrouve avec les données de -www.jeunz.fr alors qu'il n'y a aucun rapport entre les deux.

En se qui concerne le cache dans google pour le site jeunz.fr google me dit cache le 27 november, et quand je regarde la page en cache elle date en fait du 17 novembre...

Et pleins d'autres anomalies de ce genre

Il doit y avoir un énorme problème quelque part mais je n'arrive pas à trouver quoi.

Donc j'ai deux questions:

Comment savoir si google arrive bien à crawler mon site?

Voyez vous un imense problème qui expliquerai tous ces problèmes sur mon référencement?


(a coté de ca, j'ai un blog, jeunz.org qui carbure au niveau du référencement, premier sur pleins de requetes assez compliquées, futur PR5, des milliers de visiteurs par jours venant de google).

[RomsIW]

www.spider-simulator.com

[JeunZ]

Ca j'ai déjà testé et ça ne pose pas de problème tout est bien vu...

Mais bon ca ne me dit pas vraiment si google arrive à me crawler, ça me dit se qu'il verrai si il y arrivait.

[buscoperro]

Peut être qu'un robot.txt "à blanc" peut poser problème. Essaye de mettre

Code: Tout sélectionner

User-agent: *

[jeanluc]

Bonjour,

Il y a un truc pas net ici :

- http://jeunz.com fait une redirection META refresh (zéro seconde) vers http://www.jeunz.fr/support/index.php
- http://jeunz.com/kinegziste.po fait une redirection 302 vers http://www.jeunz.com
- et donc http://jeunz.com/robots.txt fait aussi une redirection 302 vers http://www.jeunz.com

Je ne suis pas sûr que ça ait un rapport, mais c'est un lien anormal entre jeunz.com et jeunz.fr.

Jean-Luc

[JeunZ]

Merci Jeanluc, tu as trouvé trois anomalies dont je n'étais pas au courant.

Tout ca vient de mon ancienne plateforme d'hébergement, j'essaye depuis quelques semaines de tout remettre en ordre mais il subsiste ce genre de problème.

Je vais donc essayer de corriger ça déjà ! merci.