OVH 90plan et GoogleBot (again ?)

[beloute]

il n'y a rien de résolu....ovh n'a rien annoncé dans l'avancement des travaux...ma courbe es toujours au raz du sol...de plus j'ai appri hier que c'est parce que je suis chez ovh que je ne peux plus définir la vitesse de crawl de mes pages sur GWT...inadmissible de ne pas avoir été informé d'un tel évènement. OVH fait tout dans le dos de ces clientscar la société savait pertinament que le mécontentement serait là mais cette chutte du googlebot à tout mis à jour...en plus depuis début février ils ont certainement dû s'apercevoir que le googlebot ne réagissait plus de la même façon et rien n'a été fait avant les plaintes des clients.

[Leonick]

de plus j'ai appris hier que c'est parce que je suis chez ovh que je ne peux plus définir la vitesse de crawl de mes pages sur GWT...

sur un mutualisé... Et c'est normal, imagine que 90% des webmasters le mettent au crawl maximum, le serveur chute de trop d'accès simultanés. 9a n'est pas génant pour ceux qui sont à l'origine de cette chute, mais les 10% des webmasters restants, qui ont leur site inaccessible du fait des autres, que vont-ils penser ?
Sur mon dédié OVH, aucun problème, je peux régler ma vitesse de crawl sans problème, mais je ne vois pas l'intérêt de la mettre au maximum, je l'ai mise très basse. Ce qui m'importe c'est juste que ma page d'accueil soit crawlée très régulièrement ainsi que les nouveaux contenus (liés dans la page d'accueil). C'est tout

[beloute]

Tout à fait d'accord avec toi mais quand j'ai acheté mon hébergement cela ne m'a pas été signalé, mon site est dynamique et avant ce problème je plaçais un article la veille chaque jour pour le lendemain et il était dans la première page du mot clé en question...là je ne suis plus dans la place....qu'il passe sur des milliers de pages ou 30 pages je m'en fiche mais qu'il indexe les nouvelles plutôt que les vieilles pages. Et question personnelle as tu déjà vu un problème grave chez un hébergeur durer plus de 2 semaines ? certains webmasters ont perdus beaucoup d'argent et ce n'est pas ovh qui va les dédomager. Enfin bref quand j'en aurais assez je prendrais un dédié chez la concurrence pour être tranquille.

[Leonick]

Tout à fait d'accord avec toi mais quand j'ai acheté mon hébergement cela ne m'a pas été signalé, mon site est dynamique et avant ce problème je plaçais un article la veille chaque jour pour le lendemain et il était dans la première page du mot clé en question...là je ne suis plus dans la place....

Si c'est celui de ton www je ne vois qu'un joomla brut de dezippage, sans aucun contenu. Donc gg va voir comme moi et il n'a donc rien à indexer

certains webmasters ont perdus beaucoup d'argent et ce n'est pas ovh qui va les dédommager.

si on perd beaucoup d'argent en 1 ou 2 semaines, on a les moyens de prendre autre chose qu'un hébergement "pro" mutualisé d'entrée de gamme

Enfin bref quand j'en aurais assez je prendrais un dédié chez la concurrence pour être tranquille.

je n'ai aucun problème sur mon dédié OVH

[beloute]

Non ce n'est pas le site de mon www celui-ci est en attente.

[5_legs]

sur un mutualisé... Et c'est normal, imagine que 90% des webmasters le mettent au crawl maximum, le serveur chute de trop d'accès simultanés. 9a n'est pas génant pour ceux qui sont à l'origine de cette chute, mais les 10% des webmasters restants, qui ont leur site inaccessible du fait des autres, que vont-ils penser ?
Sur mon dédié OVH, aucun problème, je peux régler ma vitesse de crawl sans problème, mais je ne vois pas l'intérêt de la mettre au maximum, je l'ai mise très basse. Ce qui m'importe c'est juste que ma page d'accueil soit crawlée très régulièrement ainsi que les nouveaux contenus (liés dans la page d'accueil). C'est tout

Je suis complètement d'accord sur le fond.

Toutefois, auparavant il était possible de modifier la vitesse d'exploration du bot (je parle bien sur un mutu).
Dans ce cas comment expliquer que cela n'est plus possible désormais ? ou en d'autres termes sur quels critères s'est basé Google pour désactiver cette fonction.
Techniquement il peut effectivement voir le nombre de site hébergés sur la même IP, celà provient-il de ça ?
d'autres mutu hébergés ailleurs que chez ovh sont-ils bridés de cette commande ?

Encore un fois, je ne conteste pas le bien-fondé ... je cherche juste à comprendre...

[Marie-Aude]

Mes sites sont sur des mutualisés (ailleurs) et c'est Google qui décide ou pas de me laisser modifier la vitesse d'exploration en fonction de critères qui lui sont propres, et semble t il au delà d'un certain seuil de crawl

Si en ce moment il est empêché de crawler sur OVH, cela me semble logique que cette option soit désactivée dans GWT.

En gros "si je peux aller comme je veux et que je vais vite, je laisse au webmaster la possibilité de régler, si je ne peux pas aller comme je veux, ou que je veux aller très lentement, pas besoin du lui laisser la main"

[5_legs]

Effectivement le choix est probablement déterminé par la vitesse de crawl possible constatée.
Mais c'est une nouvelle "fonctionnalité" ou une modification

[Wharenn]

Marie-Aude> tu es sure de ce que tu avances pour la disponibilité ou non de cette option dans GWT ? Parce que sur les forums OVH quelqu'un a cité un ingénieur google qui disait que c'était soit un choix du webmaster, soit un choix de l'hébergeur, soit directement un choix fait par google.

[5_legs]

A voir qui est concerné, mais depuis ce matin j'observe une activité énorme de Googlebot, à ce rythme c'est presque la totalité des pages d'un site "moyen" qui aura été crawlé (sur un 90plan) sur une journée.

A propos de tests entre Google et Ovh :

citation :

Google a effectué des modifications hier sur une partie de leur système, ce qui a amélioré considérablement le nombre d'indexation sur la plateforme de test (nombre d'indexations multiplié par 8 environ).

[Marie-Aude]

Marie-Aude> tu es sure de ce que tu avances pour la disponibilité ou non de cette option dans GWT ? Parce que sur les forums OVH quelqu'un a cité un ingénieur google qui disait que c'était soit un choix du webmaster, soit un choix de l'hébergeur, soit directement un choix fait par google.

Je suis toujours fascinée par les gens qui citent les ingénieurs Google. Sauf si il y a une source Google elle même. Ce qui n'est pas le cas.

Sur un de mes sites, j'ai constaté le phénomène que je t'ai décrit.
- > montée en puissance du site, pas de possibilité de réglage manuel
- > atteinte d'un certain niveau, possibilité de réglage manuel
- > connerie de ma part (robots.txt en disallow:*), baisse du crawl, disparition de l'option
-> rétablissement de la situation, remontée du crawl, réapparition de l'option

Tout le reste me parait relever du fantasme. Et notamment le fait que Google autoriserait à un hébergeur (sur quelle base) de modifier quelque chose sur nos sites.

[HawkEye]

Marie-Aude> tu es sure de ce que tu avances pour la disponibilité ou non de cette option dans GWT ? Parce que sur les forums OVH quelqu'un a cité un ingénieur google qui disait que c'était soit un choix du webmaster, soit un choix de l'hébergeur, soit directement un choix fait par google.

J'ai un panel d'hébergements chez OVH: du mutu start1M au dédié superplan, et sur la plupart j'ai la possibilité de déterminer la vitesse de crawl de GoogleBot dans les GWT.

La différence est que je ne peux pas aller "aussi loin" sur les petits mutu que sur les dédiés: le bridage est avant tout lié aux performances estimées ou testées par Google (temps de réponse, débit, etc...).

C'est tout à fait logique: si j'ai envie de dire à GoogleBot d'engorger mon dédié parce que j'aime ça... ça n'impacte que sur mes performances... alors que sur un mutu, j'emm*rderais tout le monde

Corolaire immédiat: (et malgré ma petite mise en garde récente (note perso aux amis qui se tâtent toujours)) ... si vous voulez vous permettre plus de choses, passez sur du dédié

[FOUILLADE]

Bonjour HawkEye,

Je fais partie de ceux dont :
- GOOGLE ne visite quasiment plus le site depuis le le mercredi 28 janvier 2009,
- Sur mon 90plan, et depuis exactement le 7 février, Crawltrack ne voit plus que 10 % à 20 % des visiteurs envoyés par GOOGLE.

Il ne s'agit pas d'un problème de Crawltrack car :
- La moyenne des visites journalières a légèrement augmenté.
- GOOGLE Analytic me confirme que cette moyenne des visites journalières a légèrement augmenté.

Donc, il me semble que ce sont les serveurs de OVH qui filtrent les les informations que l'on récupère normalement dans $_SERVER['HTTP_REFERER'].

Suis-je le seul dans ce cas ?

[Leonick]

Sur mon 90plan, et depuis exactement le 7 février, Crawltrack ne voit plus que 10 % à 20 % des visiteurs envoyés par GOOGLE.

et comment sais-tu que ce n'est pas du au fait que tu ai perdu 80 à 90% de visiteurs en provenance de google plutôt ?
Moi je n'ai aucun problème avec les arrivant de google (en dehors de quelques internautes qui avaient la requête dans l'url sous forme de #, dont on a parlé sur wri) chez OVH, que ce soit sur 60GP, 1000GP, 90PLan ou dédié.

[FOUILLADE]

Sur mon 90plan, et depuis exactement le 7 février, Crawltrack ne voit plus que 10 % à 20 % des visiteurs envoyés par GOOGLE.

et comment sais-tu que ce n'est pas du au fait que tu ai perdu 80 à 90% de visiteurs en provenance de google plutôt ?
Moi je n'ai aucun problème avec les arrivant de google (en dehors de quelques internautes qui avaient la requête dans l'url sous forme de #, dont on a parlé sur wri) chez OVH, que ce soit sur 60GP, 1000GP, 90PLan ou dédié.

Tout simplement parce que ces visiteurs viennent sur mon site.
J'en ai même un peu plus.

Le problème que je pose est que $_SERVER['HTTP_REFERER'] ne fourni plus les informations correctes.