Problème Googlestat sur hébergements OVH mutualisés

**le Mer Fév 05, 2003 12:39**

Bonjour à tous,

Suite aux problèmes d'hier matin (saturation des DNS Wanadoo), OVH a désactivé le "name lookup" au niveau des serveurs Apache. Ceci pour éviter les délais induits par la saturation des serveurs de noms.
L'impact sur GoogleStats est que la variable $_SERVER["REMOTE_HOST"] n'est plus renvoyée lors des visites des pages, donc le test de comparaison avec googlebot.com n'est jamais vérifié.Ceci fait que les passages des robots ne sont plus enregistrés par le programme GoogleStats.
N'ayant pas d'information d'OVH quant au rétablissement du "name lookup", je n'ai pas apporté de modification au programme, cette situation étant probablement temporaire...

Dan

**le Mer Fév 05, 2003 12:43**

je voulais justement en parler... j'avais eu peur en voyant me stats dans GoogleStats, mais vite rassuré en allant fouiller dans les logs.

on pourrait peut-être penser à une liste d'adresses IP, ce qui éviterait de chercher le nom de domaine (coûteux et parfois désactive) sans pour autant passer par le test du nom d'agent du navigateur (qui n'est pas fiable) ???

**le Mer Fév 05, 2003 13:00**

Salut Olivier,

J'ai été plus rapide que toi sur ce coup là :wink:

Je l'ai vu et ai fait le test ce matin à 7H puis j'ai dû filer à un rendez-vous...
Le "name lookup" n'est toujours pas réactivé à cette heure.
C'est assez facile d'isoler les robots, on n'a que 2 IP range à tester:
216.239.46.xx
64.68.82.xx
Tous ceux qui sont descendus chez moi en décembre et janvier étaient dans ces plages d'adresses. Tu en as d'autres ?

Dan

PS: toujours pas de 216.239.46 en vue mais les 64.68.82 se "déchaînent" sur 2 de mes sites depuis minuit. Google aurait-il changé sa manière de faire le DeepCrawl ?

**le Mer Fév 05, 2003 14:18**

Bonjour à tous,

Pour résoudre ce problème, j'ai remplacé (dans googlestats.inc.php)

Code: Tout sélectionner: if (strpos($_SERVER["REMOTE_HOST"], "googlebot.com") != false) {

par:

Code: Tout sélectionner: if ((strpos($_SERVER["REMOTE_ADDR"], "216.239.46.")!== false) || (strpos($_SERVER["REMOTE_ADDR"], "64.68.82.")!== false)) {

Vérifiez que l'accolade ouvrante { se trouve bien soit en fin de ligne soit sur la ligne suivante, mais pas en double!
De plus, la ligne "if ((strpos... " doit être d'un seul tenant (sans retour chariot)

Dan

REMARQUE: le signe !== est supporté par PHP >= 4.0b3
pour les versions plus anciennes, il faut utiliser:

Code: Tout sélectionner: if (is_integer(strpos($_SERVER["REMOTE_ADDR"], "216.239.46.")) || is_integer(strpos($_SERVER["REMOTE_ADDR"], "64.68.82."))) {

**le Jeu Fév 06, 2003 7:00**

Pour info, la modif fonctionne parfaitement bien sur mes sites. Je suis le passage des full crawlers en "temps réel" :wink:

Dan

**le Jeu Fév 06, 2003 8:56**

Chez moi aussi.

Mais n'ont-ils pas été rétablis ?
Ce changement est-il définitif ?

@ +

**le Jeu Fév 06, 2003 9:56**

eric a écrit:Chez moi aussi.

Mais n'ont-ils pas été rétablis ?
Ce changement est-il définitif ?

@ +

Même s'il n'est pas définitif, je continuerai à faire le test sur les gammes d'adresses (en tout cas chez moi) car la probabilité est plus faible de voir Google changer d'IP que de faire face à une panne de DNS :wink:

Dan

PS: Eric, Google a tout de même fini par trouver ton nouvel hébergement ? Il semble que Google aie mis ses DNS à jour hier ou avant-hier... ce serait donc logique.

**le Jeu Fév 06, 2003 10:04**

Oui, il a enfin trouvé mon nouvel hébergement.

Sur quoi te bases-tu quand tu dis que Google a mis à jour ses DNS ?
Il stockerait donc les adresse physiques des sites ?

@ +

**le Jeu Fév 06, 2003 10:12**

Je pense que pour des raisons de performances, Google stocke les adresses physiques des sites que les crawlers visitent. Avec plus de 3 milliards de pages indexées, tu imagines facilement l'intérêt de cette approche en termes de requêtes DNS (et de trafic qui en découle).
D'après ce que j'ai pu lire sur un forum US, la mise à jour de ces DNS interviendrait systématiquement juste avant que ne débute le "full crawl" , ce qui semble aussi le meilleur moment pour le faire. :wink:

Dan

**le Jeu Fév 06, 2003 10:59**

OK, c'est tout à fait possible, c'est sûr.

Merci

@ +

**le Jeu Fév 06, 2003 12:06**

Je ne suis pas persuadé que google maintienne un cache DNS, en effet j'utilise pour le moment encore un nom de dommaine dynamique dont l'ip change une fois par jour, hors ca n'a pas l'aire de perturber google pendant son full crawl. ( 3890 lien crawlé pour le moment )

A+

**le Jeu Fév 06, 2003 12:23**

champignac a écrit:Je ne suis pas persuadé que google maintienne un cache DNS, en effet j'utilise pour le moment encore un nom de dommaine dynamique dont l'ip change une fois par jour, hors ca n'a pas l'aire de perturber google pendant son full crawl. ( 3890 lien crawlé pour le moment )

A+

Il se dépêche peut-être avant que ton IP ne change ? :lol:

A mon sens, l'algo doit être assez puissant pour détecter les IP dynamiques, il doit quand même il y en avoir un paquet sur la planète...

Dan

**le Jeu Fév 06, 2003 13:47**

Pour moi aussi le problème est réglé, effectivement google garde en mémoire les DNS et les mets à jour selon la valeur TTL donné par l'hebergeur, j'ai écris à google france pour mon problème et ils m'ont demandé le TTL

Puis apparement google a effectivement mis à jour ses DNS il y a quelques jours ;o)

Problème Googlestat sur hébergements OVH mutualisés

Problème Googlestat sur hébergements OVH mutualisés

DNS chez google

Re: DNS chez google

Lectures recommandées sur ce thème :

Qui est en ligne