OVH, mais que font ils avec les moteurs ???

[moktoipas]

Je viens de tomber sur ça:
http://travaux.ovh.com/?do=details&id=1738

Nous avons rediriges les bot les plus courant (google, live, slurp etc.) sur
des serveurs juste pour eux.
En effet, avec le nombre de sites que nous hebergeons, on se fait "attaquer"
en permanence par ces robots. Et pour eviter que cela ne soit nuisible pour
vos internautes, nous avons decides de les isoler.
Les bots ne voient pas la difference.

Lors du basculement, nous avons eu un probleme de configuration pour certains
plan. Desormais cela est repare.

J'ai du mal a comprendre en quoi ca consiste ??
Faire un serveur tout lent pour les moteurs ?

[moktoipas]

J'ai trouvé la reponse a mon probleme...

Via le proxy google qui met en page les site pour les mobiles.

http://www.google.com/gwt/n?mrestrict=x ... pas.com%2F

Error: 502
The specified server is either incorrect, or currently unable to handle the request due to a temporary overloading or maintenance. Please contact the site administrator.

[Tancrede]

Perso j'arrive bien sur le site.

C'est étonnant cette technique, ils redirigent les bots sur un serveur spécifique pour crawler des sites qui sont sur un autre serveur ???

[moktoipas]

Perso j'arrive bien sur le site.

Pareil le premier coup, et le 3 eme, mais le second, je suis tombé sur ce message, que je n'avais encore jamais vu de de ma vie.
Et si à 11h, il surcharge, j'imagine meme pas à 20h...

Etonnant et degeulasse. Plutot que de mieux repartir la charge sur leur serveurs, il devient le trafic que nous, webmasteur ne pouvont pas voir sur des serveur de seconde zone.

[bproductiv]

Un bon gros cloaking...hum ya bon, jusqu'au jour où plus aucun site sous OVH ne soit référencé

[moktoipas]

Pas cloaking, c'est jute en interne qu'il les devient vers un autre serveur avec le même contenu (il doit acceder au meme servur de fichier et de BDD)

Ca change rien pour google, sauf les performances qui m'ont l'air bien mauvaises.

[Mumuri]

a la limite en changeant le user agent, y'a pas moyen de faire deux trois tests ?

[moktoipas]

je suis en train de regarder, je vois aps de difference dans les perfs.
peut etre que mon erreur 502 était un coincidence, meme si j'en doute un peu.

[Mumuri]

question bête ? maintenant en gros, toutes les informations données sur googlebot par des softs comme Robotstats (ou tout softs qui utilise les infos de crawl pour fonctionner) ne sont plus utilisables sur OVH ...

[moktoipas]

pkoi ??

Moi mon truc perso de détection de robot, marche toujours (je suppose) puisque je l'ai vu regarder deux page ce matin.

c'est juste qu'il y a un serveur apache différent pour gérer les échanges entre ovh et Google (enfin je suppose) mais qui regard lees donnée sur les même serveur de fichier et le meme bd (je suppose, toujours)

[Kmacleod]

Robotstats affiche des données cohérentes avec hier.

Dans les GWT, Temps de téléchargement d'une page (en millisecondes) se balade autour de 600.

Si les sites sont mirrorés vers d'autres serveurs, quel est le delai de refresh ?

[moktoipas]

Ptet pas mirroré, ptet juste un frontend de plus "spécial robots"

enfin beaucoup que question en suspend.

Moi aussi donnée cohérentes avec hiere:minables (2 page vues pas google bot et un 10 aine par mediapartner soit 6 ou 7 fois moins qu'avant).

[Tancrede]

En plus l'accès aux logs ovh est galère en ce moment, et vu que je n'ai pas d'autre outil d'analyse de passage des moteurs, ça rend la tâche plus pénible.

J'ai pu m'y connecter hier à 21h et aucun passage de GG de la journée .

[Mumuri]

pkoi ??

si une partie du traffic est dévié sur d'autres serveurs, est ce que çà ne veut pas dire que les logs correspondants le sont aussi ? et que l'on a plus accès à ces logs ?

[moktoipas]

ha oui, les logs, bonne question.
mis avec un comptage php, a priori, ca devrai marcher
/me suppose