User-agent: Mediapartners-Google*
13 messages
• Page 1 sur 1
Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics
- jean28
- WRInaute impliqué

- Messages: 553
- Inscription: 1 Jan 2005
User-agent: Mediapartners-Google*
Pour les adsenses si je mets ceci dans mon fichier robots.txt
User-agent: Mediapartners-Google*
Disallow:
Est ce le même robot qui indexe les pages pour la recherche ?
Car je ne souhaite pas que google indexe certaines pages de mon site, merci
User-agent: Mediapartners-Google*
Disallow:
Est ce le même robot qui indexe les pages pour la recherche ?
Car je ne souhaite pas que google indexe certaines pages de mon site, merci
-

jeanluc - WRInaute accro

- Messages: 3049
- Inscription: 3 Mai 2004
Ce n'est pas un bug. C'est une optimisation du crawl. Au lieu d'avoir deux bots différents qui visitent la même page, maintenant ils partagent une cache commune.Suede a écrit:Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?
Je ne sais pas si cela entraîne qu'on ne peut plus interdire les crawls d'indexation si on affiche des AdSense.
Jean-Luc
-

HawkEye - WRInaute accro

- Messages: 17005
- Inscription: 23 Fév 2004
jeanluc a écrit:Ce n'est pas un bug. C'est une optimisation du crawl. Au lieu d'avoir deux bots différents qui visitent la même page, maintenant ils partagent une cache commune.Suede a écrit:Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?
Je ne sais pas si cela entraîne qu'on ne peut plus interdire les crawls d'indexation si on affiche des AdSense.
Jean-Luc
Attention: le Crawl Caching Proxy n'est pas un cache de résultats, mais un cache de contenu, inter-robots.
Le contenu chopé par le bot d'AdSense n'est pas pour autant indexé par GoogleBot ou par les autres. Chaque robot applique stricto-sensu les règles qui lui sont imposées par robots.txt: si GoogleBot ne peut indexer une page, elle ne sera pas indexée dans le moteur; mais celà n'empèche pas MediaBot (Mediapartners) de lire la page et de renvoyer du contextuel.
http://blog.indexweb.info/actualite-int ... xy,16.html
-

Helpeur - WRInaute discret

- Messages: 70
- Inscription: 11 Sep 2005
gwaradenn a écrit:Et en utilisant en plus :
<meta name="robots" content="index, follow, noarchive"
Le bot ne fera plus que son boulot pour adsense
Moi je préfère <meta name="robots" content="noarchive"
<meta name="robots" content="index, follow, est la valeur par défaut, pouquoi alourdir le code ?
-

Suede - WRInaute accro

- Messages: 3722
- Inscription: 4 Oct 2002
jeanluc a écrit:Ce n'est pas un bug. C'est une optimisation du crawl. Au lieu d'avoir deux bots différents qui visitent la même page, maintenant ils partagent une cache commune.Suede a écrit:Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?
Je ne sais pas si cela entraîne qu'on ne peut plus interdire les crawls d'indexation si on affiche des AdSense.
Jean-Luc
Si, il y eu un bug dans les premiers temps.
Des gens avaient autorisé mediapartner mais refusé googlebot sur certaines pages. Ces pages se sont trouvés indexées car il n'y avait pas de vérification du robots lors de la consultation du cache du crawl.
François
-

YoyoS - WRInaute accro

- Messages: 3827
- Inscription: 14 Sep 2006
Bonsoir, je m y perds un peu et j aurais voulu savoir comment dois-je faire exactement pour permettre au robot google-adsense de parcourir mes pages, même celles que j ai interdit à tous les robots d indexer pour eviter les doublons.
J'ai mis ceci:
User-agent: *
Disallow: /forum/ici
par exemple j'ai mis ca. Ok, les bots n'indexent pas les pages qui comment par ici, mais si je veux autoriser juste le robot google adsense, dois-je rajouter sous ces deux lignes:
User-agent: Mediapartners-Google*
allow: /forum/ici
Merc de votre aide !
J'ai mis ceci:
User-agent: *
Disallow: /forum/ici
par exemple j'ai mis ca. Ok, les bots n'indexent pas les pages qui comment par ici, mais si je veux autoriser juste le robot google adsense, dois-je rajouter sous ces deux lignes:
User-agent: Mediapartners-Google*
allow: /forum/ici
Merc de votre aide !
-

jeanluc - WRInaute accro

- Messages: 3049
- Inscription: 3 Mai 2004
Bonjour,
Il faut mettre :
Allow: est à déconseiller car ce n'est pas une directive standard.
Jean-Luc
Il faut mettre :
- Code: Tout sélectionner
Useragent: *
Disallow: /forum/ici
User-agent: Mediapartners-Google*
Disallow:
Allow: est à déconseiller car ce n'est pas une directive standard.
Jean-Luc
-

YoyoS - WRInaute accro

- Messages: 3827
- Inscription: 14 Sep 2006
ok et est-ce que ca va changer quelquchose de mettre
ou
Y a-t-il un ordre de lecture ou prend-t-il simplement tout en considération ?
Merci
- Code: Tout sélectionner
Useragent: *
Disallow: /forum/ici
User-agent: Mediapartners-Google*
Disallow:
ou
- Code: Tout sélectionner
User-agent: Mediapartners-Google*
Disallow:
Useragent: *
Disallow: /forum/ici
Y a-t-il un ordre de lecture ou prend-t-il simplement tout en considération ?
Merci
13 messages
• Page 1 sur 1
Formation recommandée sur ce thème :
Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
Consultez la description détaillée des produits ou services de Google suivants : Google Feed Fetcher
- Analyser le positionnement d'un site
AgentWebRanking est un logiciel professionnel qui permet d'analyser le positionnement d'un ou plusieurs sites dans plus de 300 moteurs de recherche dans le monde. Vous pouvez ainsi analyser les performances du référencement pour de nombreux mots-clés.
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités



