Script d'extraction Googles Images

[Mumuri]

Bonjour,

Jusqu'à y' a pas longtemps, j'utilisais le script suivant pour extraire le top des images vu sur mon site par Googles Images.

Code: Tout sélectionner

#!/bin/sh
export LC_ALL=en_EN.UTF-8
jour=`date --date '1 days ago' '+%d/%b'`

function statsGoogleImages(){
        echo "stats: $1"
        cat "/var/log/lighttpd/$1_access.log"|grep $jour|grep images.google|sed -e "s/\(.*\)imgurl=\(.*\)&imgrefurl\(.*\)/-- \2 --/g"|sort|uniq -ic|sort -nr|head -n 20

}

echo "<b>Statistiques Googles Images</b>"
for line in $(cat /root/scripts/google-images-config.ini);
do  (statsGoogleImages $line);
done
export LANG=fr_FR.UTF-8


Cependant depuis quelques temps, il ne semble plus marcher. Je m'explique, j'ai toujours des statistiques qui sortent mais elles sont erronés. Je pense qu'il y a un problème avec le referer, mais je n'arrive pas à m'expliquer ce que c'est ? est ce que l'introduction d'ajax dans le moteur de recherche peut faire que le referer ne soit plus renseigné ? Si vous avez une solution à ce problème , je suis preneur.

Merci d'avance

Mumu.

[Julia41]

N'étant pas suffisament crawlé par google image, il nous faudrait un petit bout de ton fichier de log.

Bon, moi ce n'est crawlé qu'une seule fois, et je n'ai pas de referer donc sans exemple je pourrais pas t'aider mais voici un petit exemple :

Code: Tout sélectionner

cat fichier.log|grep "Googlebot-Image/1.0" | cut -d " " -f 7 | uniq -c | sort -n | head -n 50

Bon, en fait j'en ai retrouvé :

Code: Tout sélectionner

zcat access.log.*.gz|grep "images.google" | cut -d " " -f 7 | sort | uniq -c | sort -n

Tu me diras si ça marche. Moi j'en ai pas assez pour afficher pour un fichier de log.
Si tu veux filtrer pour une date précise, tu as déjà un bout de code.