Sitemap défaillant

[phpDesigner]

Cet après-midi Google nous dit que certaines pages importantes sont bloquées par robots.txt.

Nous en sommes assez surpris puisque ce fichier ne bloque :

• que des dossiers et pages que nous ne voulons pas voir explorer, par exemple le dossier des PDF ou des includes ;
• ou des dossiers ou pages qui n'existent plus et dont nous avons demandé un remove URL dans WMT.

Code: Tout sélectionner

# robots.txt du site
# http://www.phpdesigner.fr

# Ce fichier a pour ambition d'empêcher l'exploration et l'indexation
# de certaines parties de votre site web par les robots
# géré par des robots tels que ceux de Yahoo et Google.
# Il indique à ces robots où ne pas aller sur votre site.
# Vous économisez ainsi des ressources de bande passante sur votre serveur.

# Pour plus d'informations sur la norme robots.txt, consultez:
# http://www.robotstxt.org/wc/robots.html

User-agent: *
# Dossiers
Disallow: /dossier_existant/
Disallow: /dossier_qui_a_existé_et_qui_n'existe_plus/
Disallow: /dossier_existant/sous_dossier_de_même_nom_mais_créé_par_erreur_par_prestashop/
# Fichiers
Disallow: /autre_dossier_existant/fichier_exitant.php
Disallow: *autre_fichier_existant.php

Allow: /

# Sitemap
Sitemap: http://www.phpdesigner.fr/sitemap.xml


Comment corriger ça ? Merci pour votre aide.

[Marie-Aude]

En vérifiant votre robots.txt

Tu peux tester des url spécifiques dans GWT

[phpDesigner]

C'est toujours le même robot.txt depuis le 28 aout jour où nous avons basculé. C'est pour cela que nous ne comprenons pas.

[Marie-Aude]

Il faut vérifier...

[phpDesigner]

Cette réponse manque de réflexion. Nous avons finalement trouvé la solution en relisant posément notre question.