Fullcrawl en cours?

[anguenot.com]

GGBot très actif la nuit dernière. Idem chez vous?

[mahefarivony]

ca a pas arreté de toute la semaine chez moi

[yannouk]

moi on peut pas dire qu'il soit tres actif 3-4 pages par jour

[moutyk]

Salut

Moi aussi hyper actif depuis environ 3 jours

Bye

[sdamain]

Chez moi c'est le calme plat, 2 a 3 visites par jour depuis plusieurs semaines.

[DAVID86]

3-4 aujourd'hui, 10 à 15 par jour depuis une semaine... en" full crawl", c'est plutot entre 500 et 1000/j

[David@site]

Moi aussi ca a full crawler cette semaine, et la il l'arrete pas de revenir mm en pleine journée...

[Americas]

Moi aussi ca a full crawler cette semaine, et la il l'arrete pas de revenir mm en pleine journée...

Il bosse aussi le jour

[David@site]

ben c'est la premiere pour moi enfin mon site n'as qu'un mois, avant il faisait 3-6h du mat

[yannouk]

oui moi aussi c souvent vers ces eaux la

[achaternet]

Moi 1000 pages hier

[Digit]

Cette conversation revient souvent.
Il faudrait placer des agents témoins sur différents sites (un petit include sur quelques pages php) qui créraient un simple fichier texte contenant le nb de pages crawlées sur les 5 derniers jours (5 petits compteurs à incrémenter). Cela ne surchargerait pas les sites, n'occupe pas grand chose sur disque, ne requiert pas de base sql, et permettrait de consulter cette info par tout le monde depuis une URL identifiée. L'idéal étant qu'un serveur en central aille lire ce fichier tous les jours sur tous les sites de cette opération et consolide cela dans un graph mis à disposition de tous les participants. Si en plus on informe le serveur central du PR de la page principale du site, le graphe peut être évolué afin de produire une analyse sur 3 axes, (temps, pages, PR). Il faudrait aussi fournir l'info du nb de pages total du site et du nb de pages totales du site dans google, et du nb de pages ayant l'agent actif.
Ca vous branche ?

[achaternet]

Cette conversation revient souvent.
Il faudrait placer des agents témoins sur différents sites (un petit include sur quelques pages php) qui créraient un simple fichier texte contenant le nb de pages crawlées sur les 5 derniers jours (5 petits compteurs à incrémenter). Cela ne surchargerait pas les sites, n'occupe pas grand chose sur disque, ne requiert pas de base sql, et permettrait de consulter cette info par tout le monde depuis une URL identifiée. L'idéal étant qu'un serveur en central aille lire ce fichier tous les jours sur tous les sites de cette opération et consolide cela dans un graph mis à disposition de tous les participants. Si en plus on informe le serveur central du PR de la page principale du site, le graphe peut être évolué afin de produire une analyse sur 3 axes, (temps, pages, PR). Il faudrait aussi fournir l'info du nb de pages total du site et du nb de pages totales du site dans google, et du nb de pages ayant l'agent actif.
Ca vous branche ?

ouaip, mais ça va qd mm demander bcp de hits, voir plusieurs connexions simultanées a la BDD -> serveur dedié...

[achaternet]

la vache:

liste des crawlers hier:

crawler1.googlebot.com
crawler2.googlebot.com
crawler3.googlebot.com
crawler4.googlebot.com
crawler8.googlebot.com
crawler9.googlebot.com
crawler10.googlebot.com
crawler11.googlebot.com
crawler12.googlebot.com
crawler13.googlebot.com
crawler14.googlebot.com
crawler15.googlebot.com
ouf

[Digit]

ouaip, mais ça va qd mm demander bcp de hits, voir plusieurs connexions simultanées a la BDD -> serveur dedié...

Non, je ne pense pas. Les compteurs sont calculés localement sur chaque site (lire le contenu du fichier, incrémenter le compteur, réécrire le fichier => pas de sql), récupérés une fois par jour en central, le graph est calculé en central une fois par jour pour générer les éléments statiques (page html, gif...). Les calculs peuvent être faits sans base de donnée (simple matrice à analyser).
Je propose d'héberger ces résultats et le moteur de calcul/consolidation, ainsi que les infos associées (liste et caractéristiques des sites participants, formulaires etc...). Je propose aussi de placer un lien en dur vers tous les sites participants afin qu'ils obtiennent une reversion de PR en échange de leur participation, comme ça c'est gagnant/gagnant.
Le tout peut être fait sous forme open-source / GNU et permettre à tout le monde d'améliorer le système.