User-agent: Mediapartners-Google*

[jean28]

Pour les adsenses si je mets ceci dans mon fichier robots.txt

User-agent: Mediapartners-Google*
Disallow:

Est ce le même robot qui indexe les pages pour la recherche ?
Car je ne souhaite pas que google indexe certaines pages de mon site, merci

[TOMHTML]

Mediapartner est le bot pour GOOGLE ADSENSE
mais méfie toi, il sert aussi à mettre les pages en cache...

[Suede]

Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?

[Ron56]

Moi dans mes stats, j'ai eu le bot avec comme UA Mediapartners-Google/2.1 et le bot qui avait comme UA Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot. avec la meme ip, le meme jour

[jeanluc]

Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?

Ce n'est pas un bug. C'est une optimisation du crawl. Au lieu d'avoir deux bots différents qui visitent la même page, maintenant ils partagent une cache commune.

Je ne sais pas si cela entraîne qu'on ne peut plus interdire les crawls d'indexation si on affiche des AdSense.

Jean-Luc

[gwaradenn]

Et en utilisant en plus :
<meta name="robots" content="index, follow, noarchive"

Le bot ne fera plus que son boulot pour adsense

[HawkEye]

Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?

Ce n'est pas un bug. C'est une optimisation du crawl. Au lieu d'avoir deux bots différents qui visitent la même page, maintenant ils partagent une cache commune.

Je ne sais pas si cela entraîne qu'on ne peut plus interdire les crawls d'indexation si on affiche des AdSense.

Jean-Luc

Attention: le Crawl Caching Proxy n'est pas un cache de résultats, mais un cache de contenu, inter-robots.
Le contenu chopé par le bot d'AdSense n'est pas pour autant indexé par GoogleBot ou par les autres. Chaque robot applique stricto-sensu les règles qui lui sont imposées par robots.txt: si GoogleBot ne peut indexer une page, elle ne sera pas indexée dans le moteur; mais celà n'empèche pas MediaBot (Mediapartners) de lire la page et de renvoyer du contextuel.

http://blog.indexweb.info/actualite-int ... xy,16.html

[Helpeur]

Et en utilisant en plus :
<meta name="robots" content="index, follow, noarchive"

Le bot ne fera plus que son boulot pour adsense

Moi je préfère <meta name="robots" content="noarchive"
<meta name="robots" content="index, follow, est la valeur par défaut, pouquoi alourdir le code ?

[Suede]

Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?

Ce n'est pas un bug. C'est une optimisation du crawl. Au lieu d'avoir deux bots différents qui visitent la même page, maintenant ils partagent une cache commune.

Je ne sais pas si cela entraîne qu'on ne peut plus interdire les crawls d'indexation si on affiche des AdSense.

Jean-Luc

Si, il y eu un bug dans les premiers temps.
Des gens avaient autorisé mediapartner mais refusé googlebot sur certaines pages. Ces pages se sont trouvés indexées car il n'y avait pas de vérification du robots lors de la consultation du cache du crawl.

François

[YoyoS]

Bonsoir, je m y perds un peu et j aurais voulu savoir comment dois-je faire exactement pour permettre au robot google-adsense de parcourir mes pages, même celles que j ai interdit à tous les robots d indexer pour eviter les doublons.

J'ai mis ceci:

User-agent: *
Disallow: /forum/ici

par exemple j'ai mis ca. Ok, les bots n'indexent pas les pages qui comment par ici, mais si je veux autoriser juste le robot google adsense, dois-je rajouter sous ces deux lignes:

User-agent: Mediapartners-Google*
allow: /forum/ici

Merc de votre aide !

[jeanluc]

Bonjour,

Il faut mettre :

Code: Tout sélectionner

Useragent: *
Disallow: /forum/ici

User-agent: Mediapartners-Google*
Disallow:

Allow: est à déconseiller car ce n'est pas une directive standard.

Jean-Luc

[YoyoS]

ok et est-ce que ca va changer quelquchose de mettre

Code: Tout sélectionner

Useragent: *
Disallow: /forum/ici

User-agent: Mediapartners-Google*
Disallow:


ou

Code: Tout sélectionner

User-agent: Mediapartners-Google*
Disallow:

Useragent: *
Disallow: /forum/ici


Y a-t-il un ordre de lecture ou prend-t-il simplement tout en considération ?

Merci

[jeanluc]

Aucune différence. Le User-agent: * s'adresse à tous les robots pour lesquels il n'y a pas de directives spécifiques.

Jean-Luc