User-agent: Mediapartners-Google*

Haut · le Dim Aoû 06, 2006 17:07

Pour les adsenses si je mets ceci dans mon fichier robots.txt

User-agent: Mediapartners-Google*
Disallow:

Est ce le même robot qui indexe les pages pour la recherche ?
Car je ne souhaite pas que google indexe certaines pages de mon site, merci

Haut · le Dim Aoû 06, 2006 23:05

Mediapartner est le bot pour GOOGLE ADSENSE
mais méfie toi, il sert aussi à mettre les pages en cache...

Haut · le Lun Aoû 07, 2006 7:35

Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?

Haut · le Lun Aoû 07, 2006 9:03

Moi dans mes stats, j'ai eu le bot avec comme UA Mediapartners-Google/2.1 et le bot qui avait comme UA Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot. avec la meme ip, le meme jour

Haut · le Lun Aoû 07, 2006 9:45

Suede a écrit:Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?

Ce n'est pas un bug. C'est une optimisation du crawl. Au lieu d'avoir deux bots différents qui visitent la même page, maintenant ils partagent une cache commune.

Je ne sais pas si cela entraîne qu'on ne peut plus interdire les crawls d'indexation si on affiche des AdSense.

Jean-Luc

Haut · le Lun Aoû 07, 2006 9:47

Et en utilisant en plus :
<meta name="robots" content="index, follow, noarchive"

Le bot ne fera plus que son boulot pour adsense
:wink:

Haut · le Lun Aoû 07, 2006 12:24

jeanluc a écrit:
Suede a écrit:Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?
Ce n'est pas un bug. C'est une optimisation du crawl. Au lieu d'avoir deux bots différents qui visitent la même page, maintenant ils partagent une cache commune.

Je ne sais pas si cela entraîne qu'on ne peut plus interdire les crawls d'indexation si on affiche des AdSense.

Jean-Luc

Attention: le Crawl Caching Proxy n'est pas un cache de résultats, mais un cache de contenu, inter-robots.
Le contenu chopé par le bot d'AdSense n'est pas pour autant indexé par GoogleBot ou par les autres. Chaque robot applique stricto-sensu les règles qui lui sont imposées par robots.txt: si GoogleBot ne peut indexer une page, elle ne sera pas indexée dans le moteur; mais celà n'empèche pas MediaBot (Mediapartners) de lire la page et de renvoyer du contextuel.

http://blog.indexweb.info/actualite-int ... xy,16.html

Haut · le Lun Aoû 07, 2006 19:34

gwaradenn a écrit:Et en utilisant en plus :
<meta name="robots" content="index, follow, noarchive"

Le bot ne fera plus que son boulot pour adsense

Moi je préfère <meta name="robots" content="noarchive"
<meta name="robots" content="index, follow, est la valeur par défaut, pouquoi alourdir le code ?

Haut · le Mar Aoû 08, 2006 7:35

jeanluc a écrit:
Suede a écrit:Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?
Ce n'est pas un bug. C'est une optimisation du crawl. Au lieu d'avoir deux bots différents qui visitent la même page, maintenant ils partagent une cache commune.

Je ne sais pas si cela entraîne qu'on ne peut plus interdire les crawls d'indexation si on affiche des AdSense.

Jean-Luc

Si, il y eu un bug dans les premiers temps.
Des gens avaient autorisé mediapartner mais refusé googlebot sur certaines pages. Ces pages se sont trouvés indexées car il n'y avait pas de vérification du robots lors de la consultation du cache du crawl.

François

Haut · le Lun Oct 30, 2006 22:42

Bonsoir, je m y perds un peu et j aurais voulu savoir comment dois-je faire exactement pour permettre au robot google-adsense de parcourir mes pages, même celles que j ai interdit à tous les robots d indexer pour eviter les doublons.

J'ai mis ceci:

User-agent: *
Disallow: /forum/ici

par exemple j'ai mis ca. Ok, les bots n'indexent pas les pages qui comment par ici, mais si je veux autoriser juste le robot google adsense, dois-je rajouter sous ces deux lignes:

User-agent: Mediapartners-Google*
allow: /forum/ici

Merc de votre aide !

Haut · le Lun Oct 30, 2006 22:52

Bonjour,

Il faut mettre :

Code: Tout sélectionner: Useragent: * Disallow: /forum/ici User-agent: Mediapartners-Google* Disallow:

Allow: est à déconseiller car ce n'est pas une directive standard.

Jean-Luc

Haut · le Mer Nov 01, 2006 15:12

ok et est-ce que ca va changer quelquchose de mettre

Code: Tout sélectionner: Useragent: * Disallow: /forum/ici User-agent: Mediapartners-Google* Disallow:

ou

Code: Tout sélectionner: User-agent: Mediapartners-Google* Disallow: Useragent: * Disallow: /forum/ici

Y a-t-il un ordre de lecture ou prend-t-il simplement tout en considération ?

Merci

Haut · le Mer Nov 01, 2006 17:52

Aucune différence. Le User-agent: * s'adresse à tous les robots pour lesquels il n'y a pas de directives spécifiques.

Jean-Luc

User-agent: Mediapartners-Google*

User-agent: Mediapartners-Google*

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne