[RESOLU] Erreur Google : Impossible d'atteindre robots.txt

[cnhx]

Bonjour,

Jusqu'à début Octobre mon site : http://www.ville-arnieressuriton.com/ était indexé régulièrement par Google et tout se passait bien.

Et là depuis une semaine GG n'indexe plus mon site
En effet dans Google Outil pour Webmaster j'ai le message d'erreur suivant :

Réseau inaccessible: Impossible d'atteindre robots.txt
Nous n'avons pas été en mesure d'explorer votre sitemap. En effet,
nous avons trouvé un fichier robots.txt à la racine de votre site mais
nous n'avons pas pu le télécharger. Assurez-vous qu'il est accessible
ou supprimez-le complètement.

J'ai essayé à plusieurs reprises de resoumettre le Sitemap, je récupère toujours cette erreur
Pourtant d'autres robots accèdent sans anomalie au fichier robots.txt. Voici un extrait de la log :

Code: Tout sélectionner

74.6.18.215 - - [25/Oct/2008:16:56:55 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
207.241.229.167 - - [25/Oct/2008:16:55:04 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "ia_archiver-web.archive.org"
38.108.180.52 - - [25/Oct/2008:18:32:30 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Mozilla/5.0 (compatible; ScoutJet; +http://www.scoutjet.com/)"
64.158.138.84 - - [25/Oct/2008:19:03:56 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "BlogPulseLive (support@blogpulse.com)"
174.36.200.242 - - [25/Oct/2008:19:19:48 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Browsershots"
67.202.35.13 - - [26/Oct/2008:02:52:00 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
209.131.41.48 - - [26/Oct/2008:06:17:10 +0100] "GET /robots.txt HTTP/1.0" 200 468 "-" "YahooFeedSeeker/2.0 (compatible; Mozilla 4.0; MSIE 5.5; http://publisher.yahoo.com/rssguide)"

J'ai même refait une soumission en supprimant ce fichier robots.txt et j'ai la même erreur. Va comprendre
Et depuis cet incident Google a stoppé l'indexation de mon site...

Je suis donc dans une impasse car je ne vois pas le pourquoi de ce message d'erreur de GG. Je ne sais donc plus quoi faire...

Le fichier robots.txt :
http://www.ville-arnieressuriton.com/robots.txt

Le fichier sitemap.xml :
http://www.ville-arnieressuriton.com/sitemap.xml

Merci de votre aide.

[jeanluc]

As-tu vérifié l'accès à ton robots.txt en passant par "Outils" > "Analyser le fichier robots.txt" ? A tout momement, tu peux faire retester immédiatement l'accès au fichier. Sinon, je ne vois pas. Tout me semble en ordre.

Jean-Luc

[mahdivitche]

dans le fichier robot.txt tu as mait :
Disallow: /forum/faq.php
Sitemap: http://www.ville-arnieressuriton.com/sitemap.xml


et comme ça tu as désactiver le fichier sitemap.xml il faut soit de suppprimer ce ligne Sitemap: http://www.ville-arnieressuriton.com/sitemap.xml ou d'ajouter au debut de ligne allow

[jeanluc]

et comme ça tu as désactiver le fichier sitemap.xml

Mais non ! Cela n'a aucun rapport.

Jean-Luc

[cnhx]

@mahdivitche
jeanluc à raison.

La ligne Disallow: /forum/faq.php, indique au Bots de ne pas indexer le fichier /forum/faq.php

La ligne Sitemap: http://www.ville-arnieressuriton.com/sitemap.xml indique le nom du fichier sitemap a explorer par les Bots.

[cnhx]

Pb résolu.

Cela était une anomalie du mod security du serveur Apache chez mon hébergeur.