MSNbot n'est pas mort...

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics


Koxin-L.fr
WRInaute passionné
WRInaute passionné
 
Messages: 1962
Enregistré le: 15 Jan 2012

MSNbot n'est pas mort...

Message le Sam Juin 23, 2012 8:57

Bonjour,

Bon, c'est juste une info comme cela, en passant.

Je test des tas de truc, et j'inscris un site dans les BWT.
Le site inscrit ne doit être accessible que pour GG et Bing, donc... autorisation via le user-agent dans le .htaccess et l'outils de vérif de site me dit "Je ne vois pas le fichier de vérif."

o0

Bon, je regarde les log et oh surprise le test de vérif de site dans les BWT est fait via un msnbot et non le bingbot.

Voilà.
Donc, on doit autoriser les deux.

Rod


UsagiYojimbo
WRInaute accro
WRInaute accro
 
Messages: 12072
Enregistré le: 23 Nov 2005

Re: MSNbot n'est pas mort...

Message le Sam Juin 23, 2012 10:49

Koxin-L.fr a écrit:Le site inscrit ne doit être accessible que pour GG et Bing, donc... autorisation via le user-agent dans le .htaccess et l'outils de vérif de site me dit "Je ne vois pas le fichier de vérif."


Bing et Yahoo ayant fusionnés, ca va être compliqué je pense d'être sur l'un et pas sur l'autre.


Koxin-L.fr
WRInaute passionné
WRInaute passionné
 
Messages: 1962
Enregistré le: 15 Jan 2012

Re: MSNbot n'est pas mort...

Message le Sam Juin 23, 2012 11:01

Non, ce que je veux dire, c'est que je ne souhaite être crawler que par les googlebot et les bingbot.

Sinon, je viens de découvrir encore un truc merdique de chez msn.

Dans leur BWT, lors de la validation d'un site, leur robot peut avoir le user-agent :
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)

Et oui, j'autorise bing et msn, pas de bol validation impossible parce qu'il m'envoie ce truc.

Et là, on est un peu comme des couillon pour l'identifier... o0

... en autorisant 175.55, ça passe, mais pour combien de temps... :-(


zeb
WRInaute accro
WRInaute accro
 
Messages: 13572
Enregistré le: 5 Déc 2004

Re: MSNbot n'est pas mort...

Message le Sam Juin 23, 2012 11:28

tu filtre comment les bots si c'est pas indiscret ?


Koxin-L.fr
WRInaute passionné
WRInaute passionné
 
Messages: 1962
Enregistré le: 15 Jan 2012

Re: MSNbot n'est pas mort...

Message le Sam Juin 23, 2012 11:46

Je filtre toujours via htaccess, ça évite les petits malins qui se moquent du robots.txt.
Code: Tout sélectionner
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !googlebot [NC]
RewriteCond %{HTTP_USER_AGENT} !bingbot [NC]
RewriteCond %{HTTP_USER_AGENT} !msnbot [NC]
RewriteCond %{REMOTE_ADDR} !^157\.55.* (Ca c'est l'adresse du msnbot, lorsqu'il ne dit pas qu'il est le msnbot)
RewriteCond %{REMOTE_ADDR} !^xxx\.xxx\.xxx\.xxx$ (Ca c'est pour mon ip...)
RewriteRule .* - [F,L]


Bon, ça c'est pour mes tests SEO.
On peut ajouter baidu, yandex, etc...


Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :