Des googlebots inconnus ?

**le Jeu Sep 25, 2008 0:55**

Salut,
J'ai placé une page piège sur mon site dans le but de récolter les adresses IP des robots malveillants. Cette page piège est en nofollow. La plupart des bons robots respecte le nofollow (googlebot, yahoo, msn), sauf quelques uns :
Les adresses IP de ces bots (IP hote inconnus) sont : 66.249.85.130, 66.249.84.12, 72.14.195.49, 72.14.193.133, etc...
et utilisent l'user-agent : Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)

D'après la base de données domaintools.com, ces IP appartiennent à google.
Mais d'habitude, leur IP hote est crawl.xxxx.googlebot ou Mediapartners-Google.

Que font ces bots inconnus de google sur nos sites à votre avis ?

**le Jeu Sep 25, 2008 2:02**

ils vérifient sur tu n'es pas passé du côté obscur :lol:

**le Jeu Sep 25, 2008 9:18**

+1
Ils vérifient qu'il n'y a pas de cloaking basé sur la reconnaissance de l'IP sur les sites.

**le Jeu Sep 25, 2008 10:47**

Ok, mais ce n'est pas une raison pour ignorer le nofollow.
Parce que le simple fait de se rendre sur la page piège vous fait bannir automatiquement du site.

**le Jeu Sep 25, 2008 11:27**

Dans ce cas le robot simule une activite "humaine", donc pourquoi n'aurai-t-il pas le droit de suivre ton lien ?
Un visiteur lambda peut cliquer dessus je suppose ?

**le Jeu Sep 25, 2008 11:28**

terry a écrit:le simple fait de se rendre sur la page piège vous fait bannir automatiquement du site.

mauvaise idée, du coup, non?

**le Jeu Sep 25, 2008 11:41**

k2pi a écrit:Dans ce cas le robot simule une activite "humaine", donc pourquoi n'aurai-t-il pas le droit de suivre ton lien ?
Un visiteur lambda peut cliquer dessus je suppose ?

C'est un lien invisible.
C'est la seule méthode infaillible que j'ai trouvé pour lutter contre les aspirateurs. Cela fait bannir les utilisateurs d'aspirateurs dès la 2e page.

**le Jeu Sep 25, 2008 11:41**

terry a écrit:Ok, mais ce n'est pas une raison pour ignorer le nofollow.

rel="nofollow" ne signifie pas "la cible de ce lien est interdite de lecture aux robots"

**le Jeu Sep 25, 2008 11:50**

Ce qui est sûr c'est que google avec un IP hote comme : crawl.xxxx.googlebot ou Mediapartners-Google
n'a jamais visité la page piège (invisible pour un humain).

**le Jeu Sep 25, 2008 11:52**

Cette page est-elle interdite par ton fichier robots.txt ?

**le Jeu Sep 25, 2008 12:12**

carole heinz a écrit:
terry a écrit:le simple fait de se rendre sur la page piège vous fait bannir automatiquement du site.

mauvaise idée, du coup, non?

tout à fait.
Si je veux désindexer ton site de google, il me suffira de faire de l'ip, avec les ip des bots de google, sur cette page là et hop, tu interdiras toi-même l'accès à google :evil:

**le Jeu Sep 25, 2008 12:12**

Cette page est-elle interdite par ton fichier robots.txt ?

Non, parce que certains aspirateurs respectent le fichier robots.txt (Httrack par exemple).
Je ne pourrais pas bannir les utilisateurs de ces aspirateurs dans ce cas.

Le nofollow : jamais, donc c'est ma seule parade contre les aspirateurs professionels payants de plus en plus performants (ils parcourent les pages web comme un humain qui parcourt un forum).

**le Jeu Sep 25, 2008 12:14**

terry a écrit:Non, parce que certains aspirateurs respectent le fichier robots.txt (Httrack par exemple)

Tout dépend de la manière dont tu le paramètre. Avec Httrack tu peux aussi ignorer le robots.txt...

Des googlebots inconnus ?

Des googlebots inconnus ?

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne