Google Adsense Bot et fichier Robots.txt

Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics

Jamal
Nouveau WRInaute
 
Messages: 1
Inscription: Sam Déc 04, 2004 9:05

Google Adsense Bot et fichier Robots.txt

Message le Mar Avr 01, 2008 9:14

Afin d'éviter les téléchargements massifs de mon site j'ai mis en place une procédure de blocage des IP qui ne respectent pas les instructions contenues dans le fichier robots.txt.
Seulement voilà, si GoogleBot indexe le site sans problème il ne semble pas être le cas du spider ayant l'IP 66.249.90.136 qui bien qu'il ne fournisse pas son nom pourrait être celui de Mediapartners-Google.

De même pour cet autre spider dont l'IP se rapporte à Google 72.14.193.1 et qui lui aussi ne fournit pas nom.

De même pour Google Wireless Transcoder dont l'IP est 72.14.220.136.

Est-il confirmé que Mediapartners-Google ne se conforme pas aux instructions contenues dans robots.txt ou peut-être s'agit-il d'une mauvaise configuration de mon robots.txt?

Formation recommandée sur ce thème :

Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité