GGbot ne crawle plus en profondeur

[jOoL]

Hello à tous,

Je me tourne vers vous pour obtenir un peu d'aide, et surtout éclairer un peu ma lanterne.

Il a de cela quelques mois (le 22 juillet pour être exact), GGbot ne parcours plus mon site en profondeur. Il se cantone à la page d'accueil (selon Robotstats). Le site concerné à presque 2 ans, et il était très régulièrement parcouru auparavant. Ainsi, les nouvelles pages étaient inclues rapidement.

Pour expliquer ce nouvel état de fainéantise je peux trouver les raisons ci-dessous, mais j'aimerai votre avis, et peut-être avoir de nouvelles pistes pour redonner un coup de pouce à mon ami GG:

- Modification du .htaccess script php pour prise en compte correcte des redirections 301 et obtention des bons headers.

- 3 redirections 301 successives -> de la racine www vers dossier 1(langue) puis dossier 2 (module) pour obtention d'url de type: -www.domaine/lang/fichier.html lorsque la requete est : -www.domaine/

- Modification du script php pour la gestion des erreurs et redirections 301

- Inclusion dans ODP depuis ~6 mois (ajouté la meta NODP)

- Blacklistage il y a ~3 mois (a cause de notre méthode de référencement de site flash -> réinclusion 4 jours après, suite à un mail explicatif et récupération de toutes les pages indexées et PR)

- A propos du BL, est-ce que j'ai un status de "nouveau site".. et donc le deep crawl prend du temps à se remettre en place...

-Pas de sitemap (jamais eu et ça fonctionnait bien avant)

-pas d'adsense.. (certainement rien à voir)

- fichier robots.txt qui coince ? pourtant les autres bots passent.

- GGbot a-t-il cette attitude chez vous aussi ?

- GGbot n'est-il plus détecté par robotstats ?

Voilà...

Pour vous donner une idée de comparatifs, voici l'url de robotstats:
-http://www.dreamo.ch/cbo/robotstats/

Je suis un peu perdu du coup, et surtout je me demande si j'ai pas fait une bourde quelque part.

Merci à tous de votre aide

jOoL

[Monty973]

Il n'ya a priori rien qui coince Googlebot dans ton robots.txt (même s'il est un peu compliqué) mais je crois qu'il y a au moins 2 erreurs :

A la fin, la liste de répertoires interdit, manque un espace pour le premier répertoire

Au dessus dans la liste des user-agent, un espace en trop sur le dernier.

Pour Googlebot, je vois pas

PS : sur ton acceuil, je pense que tu peux virer la META NOODP spécifique à googlebot vu que tu l'as déjà mise pour tous les robots.

[jOoL]

je pense que tu peux virer la META NOODP spécifique à googlebot vu que tu l'as déjà mise pour tous les robots.

Je me demendais si GG prend en compte la balise générale... c'est pour ça que j'ai mis les 2... Quelqu'un peut confirmer ?

Sinon merci pour le fichier robots.txt

[Monty973]

Je me demendais si GG prend en compte la balise générale... c'est pour ça que j'ai mis les 2... Quelqu'un peut confirmer ?

Oui, Google respecte les standards :

https://www.google.com/support/webmaste ... pic=&type=

[jOoL]

Oui, Google respecte les standards

merci

[tribalium]

salut
pareil pour moi sur un site d'un client qui date de juillet aussi! pas de crawl en profondeur avec pourtant un site map complet +rewritng + meta et un robot txt qui na rien de golgote 13 affaire a suivre...

[jOoL]

... un site d'un client qui date de juillet ...

Mon site ne "date" pas de Juillet, il est plus ancien. Par-contre c'est depuis juillet que GG ne le crawle plus en profondeur.

Qq'un aurait d'autres pistes ou explications à me donner svp ?

Merci

jOoL

[tribalium]

salut dans le service de sitemap google je viens de me rendre compte qu'il y a une option "Vitesse d’exploration"

Définir la vitesse d'exploration




Plus rapide Une exploration plus rapide nous permet d'explorer votre site rapidement, mais augmente la charge de votre serveur.

Normal Vitesse d'exploration recommandée

Moins rapide Une vitesse d'exploration plus lente aura pour effet de réduire le trafic généré par le robot Googlebot sur votre serveur. En revanche, ce robot explorera votre site moins souvent.

je viens de le mettre depuis hier soir sur plus rapide on vas voir si sa bouge...

[jOoL]

salut dans le service de sitemap google je viens de me rendre compte qu'il y a une option "Vitesse d’exploration"

franchement, j'ai supprimé le sitemap il y a de cela bien longtemps, et je n'ai aucune envie d'en remettre un... je me trompe peut-être, mais je n'ais jamais eu l'impression que ça aidait le bot, ni l'indexation, dans la mesure ou le site à une architecture correcte...

[polweb]

Je trouve tes balises alt mal optimisés, et semblables sur toute les pages.

[jOoL]

Je trouve tes balises alt mal optimisés, et semblables sur toute les pages.

Tu as raison, c-est un des trucs "trop nombreux d-ailleurs" qui sont dans ma ToDo list. Mais je te remercie de ta remarque, les alts ne sont pas dynamiques et je m-en suis rendu compte tard dans le dev. Ceci ajoute a un petit coup de flemme et voila... pas rectifie.. mais je le ferai ...

jOoL

PS. pardon pour les accents manquants mais suis dans un I-cafe avec le clavier mal parametre...