Google Adsense Bot et fichier Robots.txt
1 message • Page 1 sur 1
Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics
Google Adsense Bot et fichier Robots.txt
Afin d'éviter les téléchargements massifs de mon site j'ai mis en place une procédure de blocage des IP qui ne respectent pas les instructions contenues dans le fichier robots.txt.
Seulement voilà, si GoogleBot indexe le site sans problème il ne semble pas être le cas du spider ayant l'IP 66.249.90.136 qui bien qu'il ne fournisse pas son nom pourrait être celui de Mediapartners-Google.
De même pour cet autre spider dont l'IP se rapporte à Google 72.14.193.1 et qui lui aussi ne fournit pas nom.
De même pour Google Wireless Transcoder dont l'IP est 72.14.220.136.
Est-il confirmé que Mediapartners-Google ne se conforme pas aux instructions contenues dans robots.txt ou peut-être s'agit-il d'une mauvaise configuration de mon robots.txt?
Seulement voilà, si GoogleBot indexe le site sans problème il ne semble pas être le cas du spider ayant l'IP 66.249.90.136 qui bien qu'il ne fournisse pas son nom pourrait être celui de Mediapartners-Google.
De même pour cet autre spider dont l'IP se rapporte à Google 72.14.193.1 et qui lui aussi ne fournit pas nom.
De même pour Google Wireless Transcoder dont l'IP est 72.14.220.136.
Est-il confirmé que Mediapartners-Google ne se conforme pas aux instructions contenues dans robots.txt ou peut-être s'agit-il d'une mauvaise configuration de mon robots.txt?
1 message • Page 1 sur 1
Formation recommandée sur ce thème :
Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Sortie de GoogleStats v2.01
- Déclarer son fichier sitemap dans le fichier robots.txt
- Testez AdSense sans même vous inscrire !
- Les blogs de Google AdSense en néerlandais et en espagnol
- Google AdSense Calendar
- WebRankInfo interroge Google sur AdSense
- Etude de Googlebot, le robot crawler de Google (Fresh Bot, Deep Bot)
- Robots.txt : Yahoo supporte les options avancées
- Comment gérer simplement les sitemaps de plusieurs sites au même endroit
- Parrainages AdSense sous forme de liens texte
Consultez la description détaillée des produits ou services de Google suivants : Google AdSense, Google Referrals
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité

le forum