Identifier le Bot Google ?
Règles du forum
Attention ce forum est destiné avant tout à ceux qui découvrent le référencement. Les membres qui auront l'amabilité de répondre à leurs questions sont priés de rester courtois, polis, indulgents, patients et pédagogues... Merci d'avance !
Par ailleurs, inutile d'utiliser ce forum uniquement pour obtenir des liens vers vos sites, les liens sont désactivés pour le référencement (nofollow).
Attention ce forum est destiné avant tout à ceux qui découvrent le référencement. Les membres qui auront l'amabilité de répondre à leurs questions sont priés de rester courtois, polis, indulgents, patients et pédagogues... Merci d'avance !
Par ailleurs, inutile d'utiliser ce forum uniquement pour obtenir des liens vers vos sites, les liens sont désactivés pour le référencement (nofollow).
7 messages
• Page 1 sur 1
Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics
-

Laurent Jordi - WRInaute discret

- Messages: 122
- Inscription: 25 Aoû 2005
Identifier le Bot Google ?
Salut à tous,
Contexte
Je suis assez novice en référencement car j'ai passé beaucoup de temps pour créer un important gestionnaire de contenus. Ce denier permet de créer plusieurs sites de nature différente comme des pages persos (EZ Pages : http://www.little-rock-star.com ou http://lilou.ezlogicfrance.com par exemple) des sites hiérarchiques (EZ Sites : http://www.ezlogic.mc , http://www.mpgcl.org , http://www.mmei.fr , http://www.leading-leaders.com etc) ou des journaux en ligne (EZ News : http://info.mmei.fr )
Accéssoirement les sites EZ Sites disposent d'un outil de syndication RSS qui permet de à ses utilisateurs de décrire le contenu de chaque page.
Tous ces sites sont issus d'un serveur IIS 6.0 certaines pages sont en ASP d'autres en ASP dot Net.
Problématique
Tous ces sites sont issus d'un frameset. Vous allez me dire, vade retro satanas ! Cependant, étant conscient des problématiques que rencontre Google pour le référencement de ces sites, j'ai créé un fantôme de chaque page accessible directement avec un permalien du type :
http://www.ezlogic.mc/SearchBot/SearchB ... 3460347712
ou (avec l'url rewriting)
http://www.ezlogic.mc/3460347712.html
Tous ces permaliens sont décrits entre les balises noframes.
Mon problème est que Google n'arrive pas à les suivre pour référencer l'ensemble du contenu des sites (souvent très riche)
Solution
Je voudrais savoir comment je pourrais identifier le bot de Google (côté serveur si possible sans doute avec la signature HTTP_USER_AGENT) ?
Si j'y arrive, je pourrais automatiquement le rediriger vers un plan de site à plat qui pointerais sur chaque page. Chacune d'elle seraient reliées les unes aux autres.
Dans l'attente d'une réponse de votre part,
Je vous remercie d'avance et félicite la qualité de ce site ainsi que la pertinence des informations que l'on y trouve.
Laurent Jordi
http://www.ezlogic.mc
Contexte
Je suis assez novice en référencement car j'ai passé beaucoup de temps pour créer un important gestionnaire de contenus. Ce denier permet de créer plusieurs sites de nature différente comme des pages persos (EZ Pages : http://www.little-rock-star.com ou http://lilou.ezlogicfrance.com par exemple) des sites hiérarchiques (EZ Sites : http://www.ezlogic.mc , http://www.mpgcl.org , http://www.mmei.fr , http://www.leading-leaders.com etc) ou des journaux en ligne (EZ News : http://info.mmei.fr )
Accéssoirement les sites EZ Sites disposent d'un outil de syndication RSS qui permet de à ses utilisateurs de décrire le contenu de chaque page.
Tous ces sites sont issus d'un serveur IIS 6.0 certaines pages sont en ASP d'autres en ASP dot Net.
Problématique
Tous ces sites sont issus d'un frameset. Vous allez me dire, vade retro satanas ! Cependant, étant conscient des problématiques que rencontre Google pour le référencement de ces sites, j'ai créé un fantôme de chaque page accessible directement avec un permalien du type :
http://www.ezlogic.mc/SearchBot/SearchB ... 3460347712
ou (avec l'url rewriting)
http://www.ezlogic.mc/3460347712.html
Tous ces permaliens sont décrits entre les balises noframes.
Mon problème est que Google n'arrive pas à les suivre pour référencer l'ensemble du contenu des sites (souvent très riche)
Solution
Je voudrais savoir comment je pourrais identifier le bot de Google (côté serveur si possible sans doute avec la signature HTTP_USER_AGENT) ?
Si j'y arrive, je pourrais automatiquement le rediriger vers un plan de site à plat qui pointerais sur chaque page. Chacune d'elle seraient reliées les unes aux autres.
Dans l'attente d'une réponse de votre part,
Je vous remercie d'avance et félicite la qualité de ce site ainsi que la pertinence des informations que l'on y trouve.
Laurent Jordi
http://www.ezlogic.mc
-

Laurent Jordi - WRInaute discret

- Messages: 122
- Inscription: 25 Aoû 2005
Bonjour,
Merci de votre réponse rapide. Je connais bien Google Site Map, je l'ai étudié, j'avais même fait des suggestion à Google fin 2004 pour qu'ils travaillent en ce sens.
Le problème de Google Site Map (que je suis en train d'implémenter d'ailleurs) est qu'il utilise un format XML propriétaire qui n'est pas compatible avec les autres moteurs de recherche alors que ma solution l'est.
IE a la signature suivante :
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)
Firefox celle ci :
Mozilla/5.0 (Windows; U; Windows NT 5.1; fr-FR; rv:1.7.
Gecko/20050511 Firefox/1.0.4
Je suis sûr que Google Aussi en a une, ainsi que tous les moteurs de recherche. Je pensais que quelqu'un ici, pouvait connaître ces signatures ou m'indiquer s'il existe une RFC qui les liste toutes.
Bien à vous
Laurent Jordi
Merci de votre réponse rapide. Je connais bien Google Site Map, je l'ai étudié, j'avais même fait des suggestion à Google fin 2004 pour qu'ils travaillent en ce sens.
Le problème de Google Site Map (que je suis en train d'implémenter d'ailleurs) est qu'il utilise un format XML propriétaire qui n'est pas compatible avec les autres moteurs de recherche alors que ma solution l'est.
IE a la signature suivante :
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)
Firefox celle ci :
Mozilla/5.0 (Windows; U; Windows NT 5.1; fr-FR; rv:1.7.
Je suis sûr que Google Aussi en a une, ainsi que tous les moteurs de recherche. Je pensais que quelqu'un ici, pouvait connaître ces signatures ou m'indiquer s'il existe une RFC qui les liste toutes.
Bien à vous
Laurent Jordi
-

CaYuS - WRInaute impliqué

- Messages: 601
- Inscription: 14 Juil 2005
Iop
Pour Googlebot :
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot/2.1 (+http://www.google.com/bot.html)
Pour GooglebotImage :
Googlebot-Image/1.0 (+http://www.googlebot.com/bot.html)
Edit : Tu trouveras une liste relativement complète dans l'application Robot stats
Pour Googlebot :
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot/2.1 (+http://www.google.com/bot.html)
Pour GooglebotImage :
Googlebot-Image/1.0 (+http://www.googlebot.com/bot.html)
Edit : Tu trouveras une liste relativement complète dans l'application Robot stats
- nodom
- WRInaute occasionnel

- Messages: 316
- Inscription: 15 Jan 2005
oui ça existe. ça contient le mot googlebot (si c'est suffisant). mais je crois qu'il vaut mieux mettre une page plans contenant vos liens disponible aussi pour les visiteurs (c'est utile pour les non voyants vous savez?). votre méthode risque d'être pénalisée par google: google n'aime pas que l'on redirige lui, il aime traité comme un visiteur normal..oui c'est vrais ça 
- M.o.n.d.i.a.n.i
- WRInaute occasionnel

- Messages: 317
- Inscription: 9 Juil 2005
msnbot/1.0 (+http://search.msn.com/msnbot.htm)
Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot-Image/1.0
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
il n'y a pas que google yahoo et msn sont en train de monter en force aux US
Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot-Image/1.0
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
il n'y a pas que google yahoo et msn sont en train de monter en force aux US
-

Laurent Jordi - WRInaute discret

- Messages: 122
- Inscription: 25 Aoû 2005
Re,
Intéressant échange.
Je suis d'accord. Cependant, j'ai fais tester mon système de référencement par Google. Il a été validé. Il ne me manquait que cette info.
Concernant les plans de sites. Ils sont systématiques sur les EZ Sites et EZ News. Il s'agit d'une brique logicielle qui automatise le processus de création de plan de site.
L'avantage de ce système est qu'il rend impossible la présence de liens internes rompus. Son désavantage, vis à vis de google, est qu'il s'agit d'une arboréscence en Javascript non reconnue par le moteur de recherche.
Je pense que l'information que vous m'avez donnée sera suffisante pour régler mon problème.
Lorsque ce sera fait, je participerais peut-être à votre concours de référencement...
En tous les cas, merci de votre aide...
Laurent
Intéressant échange.
Je suis d'accord. Cependant, j'ai fais tester mon système de référencement par Google. Il a été validé. Il ne me manquait que cette info.
Concernant les plans de sites. Ils sont systématiques sur les EZ Sites et EZ News. Il s'agit d'une brique logicielle qui automatise le processus de création de plan de site.
L'avantage de ce système est qu'il rend impossible la présence de liens internes rompus. Son désavantage, vis à vis de google, est qu'il s'agit d'une arboréscence en Javascript non reconnue par le moteur de recherche.
Je pense que l'information que vous m'avez donnée sera suffisante pour régler mon problème.
Lorsque ce sera fait, je participerais peut-être à votre concours de référencement...
En tous les cas, merci de votre aide...
Laurent
7 messages
• Page 1 sur 1
Formation recommandée sur ce thème :
Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Google Wireless Transcoder : vieux Bot ou nouveau Bot ?
- IP google bot Vs Bot media partner ?
- Bot adSense et bot google
- Identifier les requêtes de recherche d'image google
- Comment identifier les mots clés utilisés dans Analytics, en provenance de Google Images
- Identifier google.fr ou google.com
- [Google analytics]Le script pour suivre google bot et autres crawlers
- identifier un hote
- Google bot vu par les Google Boys
- Google Bot
- Etude de Googlebot, le robot crawler de Google (Fresh Bot, Deep Bot) - 05-09-2008
- Mise à jour de Google Images (Juillet 2006) - 10-07-2006
- Mise à jour de Google Images (16/04/2006) - 18-04-2006
- Google crawle les fichiers CSS - 25-06-2006
- Apprendre Google Analytics en 60 secondes de vidéo :-) - 08-04-2009
- Google Instant Preview : correction du bug Google Analytics - 01-12-2010
- Sortie officielle de GoogleStats v2.0 ! - 23-02-2003
- Le trafic direct dans Google Analytics - Accès directs - 23-09-2010
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités
