[RESOLU] Erreur Google : Impossible d'atteindre robots.txt

[cnhx]

Bonjour,

Jusqu'à début Octobre mon site : http://www.ville-arnieressuriton.com/ était indexé régulièrement par Google et tout se passait bien.

Et là depuis une semaine GG n'indexe plus mon site :evil:
En effet dans Google Outil pour Webmaster j'ai le message d'erreur suivant :

Réseau inaccessible: Impossible d'atteindre robots.txt
Nous n'avons pas été en mesure d'explorer votre sitemap. En effet,
nous avons trouvé un fichier robots.txt à la racine de votre site mais
nous n'avons pas pu le télécharger. Assurez-vous qu'il est accessible
ou supprimez-le complètement.

J'ai essayé à plusieurs reprises de resoumettre le Sitemap, je récupère toujours cette erreur
Pourtant d'autres robots accèdent sans anomalie au fichier robots.txt. Voici un extrait de la log :

74.6.18.215 - - [25/Oct/2008:16:56:55 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
207.241.229.167 - - [25/Oct/2008:16:55:04 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "ia_archiver-web.archive.org"
38.108.180.52 - - [25/Oct/2008:18:32:30 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Mozilla/5.0 (compatible; ScoutJet; +http://www.scoutjet.com/)"
64.158.138.84 - - [25/Oct/2008:19:03:56 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "BlogPulseLive (support@blogpulse.com)"
174.36.200.242 - - [25/Oct/2008:19:19:48 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Browsershots"
67.202.35.13 - - [26/Oct/2008:02:52:00 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
209.131.41.48 - - [26/Oct/2008:06:17:10 +0100] "GET /robots.txt HTTP/1.0" 200 468 "-" "YahooFeedSeeker/2.0 (compatible; Mozilla 4.0; MSIE 5.5; http://publisher.yahoo.com/rssguide)"

J'ai même refait une soumission en supprimant ce fichier robots.txt et j'ai la même erreur. Va comprendre :?:
Et depuis cet incident Google a stoppé l'indexation de mon site... :cry:

Je suis donc dans une impasse car je ne vois pas le pourquoi de ce message d'erreur de GG. Je ne sais donc plus quoi faire...

Le fichier robots.txt :
http://www.ville-arnieressuriton.com/robots.txt

Le fichier sitemap.xml :
http://www.ville-arnieressuriton.com/sitemap.xml

Merci de votre aide.

 

[jeanluc]

As-tu vérifié l'accès à ton robots.txt en passant par "Outils" > "Analyser le fichier robots.txt" ? A tout momement, tu peux faire retester immédiatement l'accès au fichier. Sinon, je ne vois pas. Tout me semble en ordre.

Jean-Luc

 

[mahdivitche]

dans le fichier robot.txt tu as mait :
Disallow: /forum/faq.php
Sitemap: http://www.ville-arnieressuriton.com/sitemap.xml


et comme ça tu as désactiver le fichier sitemap.xml il faut soit de suppprimer ce ligne Sitemap: http://www.ville-arnieressuriton.com/sitemap.xml ou d'ajouter au debut de ligne allow

 

[jeanluc]

et comme ça tu as désactiver le fichier sitemap.xml

Mais non ! Cela n'a aucun rapport. :roll:

Jean-Luc

 

[cnhx]

@mahdivitche
jeanluc à raison.

La ligne Disallow: /forum/faq.php, indique au Bots de ne pas indexer le fichier /forum/faq.php

La ligne Sitemap: http://www.ville-arnieressuriton.com/sitemap.xml indique le nom du fichier sitemap a explorer par les Bots.

 

[cnhx]

Pb résolu.

Cela était une anomalie du mod security du serveur Apache chez mon hébergeur. :roll:

 

[rd79]

Bonjour,

Pouvez-vous m'indiquer quelle était l'anomalie mod security du serveur Apache dans votre situation ?
Je sais le message est très ancien mais je ne parviens pas à trouver la solution à mon problème qui semble être le même que le vôtre à l'époque...

Merci !