Messages: 1966

Enregistré le: 15 Jan 2012

Message le Sam Juin 23, 2012 9:57

Bonjour,

Bon, c'est juste une info comme cela, en passant.

Je test des tas de truc, et j'inscris un site dans les BWT.
Le site inscrit ne doit être accessible que pour GG et Bing, donc... autorisation via le user-agent dans le .htaccess et l'outils de vérif de site me dit "Je ne vois pas le fichier de vérif."

o0

Bon, je regarde les log et oh surprise le test de vérif de site dans les BWT est fait via un msnbot et non le bingbot.

Voilà.
Donc, on doit autoriser les deux.

Rod
Haut
4 Réponses
Messages: 12286

Enregistré le: 23 Nov 2005

Message le Sam Juin 23, 2012 11:49

Koxin-L.fr a écrit:Le site inscrit ne doit être accessible que pour GG et Bing, donc... autorisation via le user-agent dans le .htaccess et l'outils de vérif de site me dit "Je ne vois pas le fichier de vérif."


Bing et Yahoo ayant fusionnés, ca va être compliqué je pense d'être sur l'un et pas sur l'autre.
Haut
Messages: 1966

Enregistré le: 15 Jan 2012

Message le Sam Juin 23, 2012 12:01

Non, ce que je veux dire, c'est que je ne souhaite être crawler que par les googlebot et les bingbot.

Sinon, je viens de découvrir encore un truc merdique de chez msn.

Dans leur BWT, lors de la validation d'un site, leur robot peut avoir le user-agent :
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)

Et oui, j'autorise bing et msn, pas de bol validation impossible parce qu'il m'envoie ce truc.

Et là, on est un peu comme des couillon pour l'identifier... o0

... en autorisant 175.55, ça passe, mais pour combien de temps... :-(
Haut
Messages: 13572

Enregistré le: 5 Déc 2004

Message le Sam Juin 23, 2012 12:28

tu filtre comment les bots si c'est pas indiscret ?
Haut
Messages: 1966

Enregistré le: 15 Jan 2012

Message le Sam Juin 23, 2012 12:46

Je filtre toujours via htaccess, ça évite les petits malins qui se moquent du robots.txt.
Code: Tout sélectionner
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !googlebot [NC]
RewriteCond %{HTTP_USER_AGENT} !bingbot [NC]
RewriteCond %{HTTP_USER_AGENT} !msnbot [NC]
RewriteCond %{REMOTE_ADDR} !^157\.55.* (Ca c'est l'adresse du msnbot, lorsqu'il ne dit pas qu'il est le msnbot)
RewriteCond %{REMOTE_ADDR} !^xxx\.xxx\.xxx\.xxx$ (Ca c'est pour mon ip...)
RewriteRule .* - [F,L]


Bon, ça c'est pour mes tests SEO.
On peut ajouter baidu, yandex, etc...
Haut