Hausse de visiteurs suite à rewriting

[mercier133]

Bonjour,
Je viens de mettre en place des nouvelles adresses pour mon forum via .htaccess

http://www.lecerfvolant.info/forum/
http://www.lecerfvolant.info/forum/index.php?board=13.0
http://www.lecerfvolant.info/forum/index.php?topic=289.0

http://forum.lecerfvolant.info/
http://forum.lecerfvolant.info/vos-sessions/
http://forum.lecerfvolant.info/vos-sessions/trip-snowkite-semaine-du-25-janvier/

Jusque là tout est ok, je vais voir mon forum et je vois : 43 connectés (alors que ça tourne au alentour de 20 la plupart du temps)
Je regarde le détail et je vois que +/- 20 visiteurs ont visité le forum dans un intervalle de +/- 3 minutes après le changement d'adresse.
Les "visiteurs mystères" ne sont pour la plupart pas déclaré comme étant des robots, la plupart indiquant "IE 7", "IE 8", "Firefox 3","Firefox 3.5". D'où viennent ces visiteurs ? Comment ont-ils su que je changeais les adresses ?

Une chose est sûr : ce n'est pas des visiteurs normaux/humains ! Qui est-ce ???

(P.S. les statistiques du nombre de connectés sont sur base des 30 dernières minutes)

[mercier133]

Je remarque aussi un visiteur particulier sur plusieurs adresse IP :
Invité (208.74.66.62, Firefox 3) Il y a 1 minute Lit le fil de discussion Nouvelles adresses.
Invité (208.74.66.36, Firefox 3) Il y a 1 minute Visualise l'accueil du forum Forum du cerf-volant et du kite.
Invité (208.74.66.38, Firefox 3) Il y a 2 minutes Lit le fil de discussion Nouvelles adresses.
Invité (208.74.66.61, Firefox 3) Il y a 2 minutes Visualise l'accueil du forum Forum du cerf-volant et du kite.

OrgName: Centauri Communications
OrgID: CENTA-3
...

Qui est-ce ? et que fait-il sur mon site ?

[Firewave]

Dis bonjour au Robots de Crawl

[mercier133]

Dis bonjour au Robots de Crawl

Qui est crawl ? Et comment ont-ils su si vite ? Et pourquoi indiquent-ils qu'ils utilisent firefox ?

[Rod la Kox]

J'ai rien compris... Qui c'est qui fait du crawl ou du kite ? Un cerf ?



Pffff trop dur ce soir

[mipc]

Dis bonjour au Robots de Crawl

Qui est crawl ? Et comment ont-ils su si vite ? Et pourquoi indiquent-ils qu'ils utilisent firefox ?

pour ne pas être bloquer leurs user agent, de leurs robots se font passer pour firefox 3, ceci afin de ne pas etre bloquer par un site internet qui aurai un fichier robots.txt qui interdisent une liste de robot ou un .htaccess qui ferrait de même.

[mercier133]

Dis bonjour au Robots de Crawl

Qui est crawl ? Et comment ont-ils su si vite ? Et pourquoi indiquent-ils qu'ils utilisent firefox ?

pour ne pas être bloquer leurs user agent, de leurs robots se font passer pour firefox 3, ceci afin de ne pas etre bloquer par un site internet qui aurai un fichier robots.txt qui interdisent une liste de robot ou un .htaccess qui ferrait de même.

Ok merci déjà ...
mais je ne comprends toujours pas qui c'est et comment ils ont su si vite ???

[Firewave]

Il peut y avoir beaucoup de raisons. Certains bot arrivant par de plus gros sites, ils ont débarqué d'un coup et ont remarqué que tu avais fait des changements.

[mercier133]

Il peut y avoir beaucoup de raisons. Certains bot arrivant par de plus gros sites, ils ont débarqué d'un coup et ont remarqué que tu avais fait des changements.

Sauf qu'avec cette théorie il y a vraiment peu de chance qu'ils débarquent juste au moment ou j'ai changé (à la minutes près !)

[Firewave]

Ben j'ai déjà remarqué des choses similaires. Certains bot peuvent faire partie du même réseau, et appellent d'autres bots pour référencer plus vite. C'est que de la théorie.

[mercier133]

Ben j'ai déjà remarqué des choses similaires. Certains bot peuvent faire partie du même réseau, et appellent d'autres bots pour référencer plus vite. C'est que de la théorie.

Ce qu'il veut tout de même dire qu'il faut qu'il y en ait déjà au moins un sur le site juste après mes modifs ... peu probable (vu qu'il n'y avait presque personne sur le site juste avant) mais possible ...

[Firewave]

Peut-être que quelqu'un saura éclaircir pour toi ce mystère. Mais je pense que tu as plus urgent à faire que te poser ces questions métaphysiques :p

[mercier133]

Dis bonjour au Robots de Crawl

Qui est crawl ? Et comment ont-ils su si vite ? Et pourquoi indiquent-ils qu'ils utilisent firefox ?

pour ne pas être bloquer leurs user agent, de leurs robots se font passer pour firefox 3, ceci afin de ne pas etre bloquer par un site internet qui aurai un fichier robots.txt qui interdisent une liste de robot ou un .htaccess qui ferrait de même.

Info supplémentaire : Microsoft Corporation indique qu'il est sous IE 7 (alors que ça doit surement être un robot)