Interdire Mediapartners-Google peut-il causé des problèmes ?

[Nassou_dz]

Bonjour à tous ,

Je souhaiterai savoir , si est-que lorsque on rajoute la ligne :

Code: Tout sélectionner

User-agent: Mediapartners-Google*
Disallow:

Sur son robots.txt peut causer des problèmes avec l'indexation de contenu pour google adsense ?

Car d'après cette discussion

> http://www.google.com/support/forum/p/AdSense/thread?tid=60b8df97e2074da7&hl=en

C'est oui.

Mais alors j'ai remarqué que quelques sites comme youtube par exemple , la présence de la ligne

Code: Tout sélectionner

User-agent: Mediapartners-Google*
Disallow:

Sur son http://www.youtube.com/robots.txt

et cela ne l'empêche pas de diffuser des annonces adsense ciblés ?

Any idea ?

[OTP]

Gros compte, contrat particulier ?

[Nassou_dz]

Gros compte, contrat particulier ?

Je voudrais bien lol , non un contrat particulier.

[sr]

En même temps, Youtube / Google, c'est plus qu'un contrat particulier

[OTP]

En effet, oui, pas fait attention sur ce coup !

[finstreet]

Bah si tu interdit le bot d'ADSense a passé... tu vas te retrouver avec des pubs d'intérets générales. Tester il y a peu.

[HawkEye]

En même temps,

Code: Tout sélectionner

Disallow:

...ce n'est pas la même chose que

Code: Tout sélectionner

Disallow: /

[Nassou_dz]

En même temps,

Code: Tout sélectionner

Disallow:

...ce n'est pas la même chose que

Code: Tout sélectionner

Disallow: /

Et elle est où la différence ?

[HawkEye]

Le premier cas signifie: Interdit: (rien)
Le second cas signifie: Interdit: la racine et toute sa sous-arborescence

> ton exemple n'est pas une exclusion du robot, mais une autorisation explicite

[Nassou_dz]

Le premier cas signifie: Interdit: (rien)
Le second cas signifie: Interdit: la racine et toute sa sous-arborescence

> ton exemple n'est pas une exclusion du robot, mais une autorisation explicite

Ah oki ! Merci pour l'éclaircissement.

Donc par exemple si on fait :

User-agent: *
Disallow: /

Cela n'autorisera aucun robot à indexer le site ?

[HawkEye]

Absolument.

Et soit dit en passant, interdire à MediaPartners de crawler le site n'est pas forcément une bonne idée, quand on sait que tous les robots participent à l'alimentation d'un même pool de données de crawl