Identifier le Bot Google ?

[Laurent Jordi]

Salut à tous,

Contexte
Je suis assez novice en référencement car j'ai passé beaucoup de temps pour créer un important gestionnaire de contenus. Ce denier permet de créer plusieurs sites de nature différente comme des pages persos (EZ Pages : http://www.little-rock-star.com ou http://lilou.ezlogicfrance.com par exemple) des sites hiérarchiques (EZ Sites : http://www.ezlogic.mc , http://www.mpgcl.org , http://www.mmei.fr , http://www.leading-leaders.com etc) ou des journaux en ligne (EZ News : http://info.mmei.fr )

Accéssoirement les sites EZ Sites disposent d'un outil de syndication RSS qui permet de à ses utilisateurs de décrire le contenu de chaque page.

Tous ces sites sont issus d'un serveur IIS 6.0 certaines pages sont en ASP d'autres en ASP dot Net.

Problématique

Tous ces sites sont issus d'un frameset. Vous allez me dire, vade retro satanas ! Cependant, étant conscient des problématiques que rencontre Google pour le référencement de ces sites, j'ai créé un fantôme de chaque page accessible directement avec un permalien du type :

http://www.ezlogic.mc/SearchBot/SearchB ... 3460347712

ou (avec l'url rewriting)

http://www.ezlogic.mc/3460347712.html

Tous ces permaliens sont décrits entre les balises noframes.

Mon problème est que Google n'arrive pas à les suivre pour référencer l'ensemble du contenu des sites (souvent très riche)

Solution
Je voudrais savoir comment je pourrais identifier le bot de Google (côté serveur si possible sans doute avec la signature HTTP_USER_AGENT) ?

Si j'y arrive, je pourrais automatiquement le rediriger vers un plan de site à plat qui pointerais sur chaque page. Chacune d'elle seraient reliées les unes aux autres.

Dans l'attente d'une réponse de votre part,

Je vous remercie d'avance et félicite la qualité de ce site ainsi que la pertinence des informations que l'on y trouve.

Laurent Jordi
http://www.ezlogic.mc

 

[nodom]

ce que vous voulez faire est déjà prévue par google. cherchez google sitemap

 

[Laurent Jordi]

Bonjour,

Merci de votre réponse rapide. Je connais bien Google Site Map, je l'ai étudié, j'avais même fait des suggestion à Google fin 2004 pour qu'ils travaillent en ce sens.

Le problème de Google Site Map (que je suis en train d'implémenter d'ailleurs) est qu'il utilise un format XML propriétaire qui n'est pas compatible avec les autres moteurs de recherche alors que ma solution l'est.

IE a la signature suivante :
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)

Firefox celle ci :
Mozilla/5.0 (Windows; U; Windows NT 5.1; fr-FR; rv:1.7.8) Gecko/20050511 Firefox/1.0.4

Je suis sûr que Google Aussi en a une, ainsi que tous les moteurs de recherche. Je pensais que quelqu'un ici, pouvait connaître ces signatures ou m'indiquer s'il existe une RFC qui les liste toutes.

Bien à vous

Laurent Jordi

 

[CaYuS]

Iop

Pour Googlebot :
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
Googlebot/2.1 (+https://www.google.com/bot.html)

Pour GooglebotImage :
Googlebot-Image/1.0 (+http://www.googlebot.com/bot.html)

Edit : Tu trouveras une liste relativement complète dans l'application Robot stats

 

[nodom]

oui ça existe. ça contient le mot googlebot (si c'est suffisant). mais je crois qu'il vaut mieux mettre une page plans contenant vos liens disponible aussi pour les visiteurs (c'est utile pour les non voyants vous savez?). votre méthode risque d'être pénalisée par google: google n'aime pas que l'on redirige lui, il aime traité comme un visiteur normal..oui c'est vrais ça :wink:

 

[M.o.n.d.i.a.n.i]

msnbot/1.0 (+http://search.msn.com/msnbot.htm)
Googlebot/2.1 (+https://www.google.com/bot.html)
Googlebot-Image/1.0
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

il n'y a pas que google yahoo et msn sont en train de monter en force aux US

 

[Laurent Jordi]

Re,

Intéressant échange.

Je suis d'accord. Cependant, j'ai fais tester mon système de référencement par Google. Il a été validé. Il ne me manquait que cette info.

Concernant les plans de sites. Ils sont systématiques sur les EZ Sites et EZ News. Il s'agit d'une brique logicielle qui automatise le processus de création de plan de site.

L'avantage de ce système est qu'il rend impossible la présence de liens internes rompus. Son désavantage, vis à vis de google, est qu'il s'agit d'une arboréscence en Javascript non reconnue par le moteur de recherche.

Je pense que l'information que vous m'avez donnée sera suffisante pour régler mon problème.

Lorsque ce sera fait, je participerais peut-être à votre concours de référencement...

En tous les cas, merci de votre aide...

Laurent