Un passage GoogleBot non détecté ? [Fausse alerte]

[ortolojf]

Bonjour
J'ai la version 1.2.0, ou 2.1.0, ( me mélange un peu les pédales avec les versions ).

Le 18 Juin 2003, GoogleBot est passé sur mes fichiers suivants, aux environs de 9h30 du matin:

/robots.txt
/php/courses_anciennes/old_courses.php
/php/courses_anciennes/wait2_old_courses.php
/php/courses_anciennes/suite_old_courses.php

Ceci d'après les stats de mon hébergeur OVH, données par le logiciel Urchin en consultation sur le web.

Le fichier robots.txt, qui est vide, a bien été détecté et chargé ( code 200 ), ainsi que les trois autres fichiers, comme le spécifie la programmation de ces scripts PHP, qui s'appellent les uns les autres.

L'adresse IP de GoogleBot à ce moment, était celle-là: 64.68.82.71

Cette adresse fait partie des adresses ( en 64.68.82.* ) qui devraient être détectées par cette version de GoogleStats, dixit la page [info] de GoogleBot dans GoogleStats.

Or, il n'y a pas d'indication de passage de GoogleBot dans mes stats de GoogleStats, que ce soit le 17, 18, ou 19 Juin 2003.

Donc... Il s'avère que GoogleStats laisse passer des Bots, sans les noter.

A quoi c'est du, je n'en sais rien, mais le fait est là.

Bien à vous.

Jean Francois Ortolo

[Mirgolth]

Salut JF,

Une question bête mais est ce que tu as bien fais l'include du code ? Pour chacune des pages ?

Pour robots.txt par exemple je doute que ce soit le cas...
Perso j'ai mis ça sur mon site dans le .htaccess :

Code: Tout sélectionner

RewriteRule ^robots.txt$ scripts/ROBOTS.TXT/index.php [L]

et le fichier correspondant est :

Code: Tout sélectionner

<?php
include $DOCUMENT_ROOT . '/robotstats/admin/config.php';
include $DOCUMENT_ROOT . '/robotstats/googlestats.inc.php';

header ("Content-type: text/plain");
include ($DOCUMENT_ROOT . '/robots.txt');
?>

J'ai des logs pour l'adresse IP dont tu parles sur les 5 derniers jours alors le code me semble Ok.

Mirgolth

[ortolojf]

Ah, ben voilà...
Effectivement, à un moment j'avais mis les include dans les fichiers:

/php/courses_anciennes/old_courses.php , et
/php/courses_nouvelles/new_courses.php

Et puis, je ne me souviens plus pourquoi, je les avais enlevés.

Mais, effectivement, ça ne me servirait à rien de le mettre dans les scripts sur lesquels redirigent ces scripts, puisque de toute façon je suis sûr qu'il seront chargés si le premier ( old_courses.php ou new_courses.php ), l'est.

Quant au fichier robots.txt , je ne sais pas à quoi je pensais quand je t'ai dit çà: Du moment que je ne fais pas de rewrite dand .htaccess, c'est sûr que l'accès au fichier robots.txt passe inaperçu de GoogleStats.

D'ailleurs, pour ce qui est de robots.txt, c'est pas grave: Ce qui compte pour moi, c'est de savoir si des pages de mon site sont visitées par Google ou d'autres robots.

...Et puis, compte tenu de la structure de mon site, il est tout à fait impossible que, par exemple, un robot visite l'une de mes 2 pages HTML "Méthode d'Utilisation des Statistiques".

Mais je vais quand même mettre dans ces pages l'équivalent de ce que j'ai mis pour /index.html ( Un include du script gs.php qui contient les include, comme l'a montré Hetzeld ).

Merci beaucoup de ta réponse, il y a parfois des moments où je me demande où est ma tête... Il fait chaud, c'est probablement ça.

Bien à toi.

Jean Francois Ortolo

[WebRankInfo]

je vais donc modifier le titre de la discussion...

[hetzeld]

Mirgolth,

A mon avis, ton script pourrait s'avérer dangereux, particulièrement en cas de problème mySQL ! Google n'aime VRAIMENT PAS les fichiers robots.txt avec une syntaxe non reconnue.
Si tu as une erreur qui s'affiche, je pense que ton header() ne fonctionnera pas non plus.

Il serait plus sage de mettre @ devant les deux premiers includes, non ?
Tant qu'à faire, tu pourrais les mettre en fin de fichier, plutôt qu'au début, histoire de fournir aux robots le fichier demandé sans délai inutile

Dan

[Mirgolth]

A mon avis, ton script pourrait s'avérer dangereux, particulièrement en cas de problème mySQL ! Google n'aime VRAIMENT PAS les fichiers robots.txt avec une syntaxe non reconnue.

C'est justement ce qui m'est arrivé Googlebotlne s'en est pas trop mal sorti !
J'avais oublié de faire la modif GS > RS pour ce fichier et j'ai jamais eut autant de page crawler que la semaine dernière !
En tout cas, tu as tout à fait raison pour tout ce que tu proposes et je m'en vais le faire de ce pas. Je n'avais jamais fais trop attention aux @fonction() dans mes script mais après cette mésaventure qui aurait pu être catastrophique cela va changer !
Mirgolth

[hetzeld]

J'espère que tu n'auras pas une pole position pour "mySQL error: ..."

Je n'aime pas tout chez les ricains, mais ils ont un adage qui me plaît:
"Better safe than sorry!"

Dan

[Mirgolth]

J'espère que tu n'auras pas une pole position pour "mySQL error: ..."

Du moment que c'est une 1ère place moi je suis pas regardant !

Mirgolth