GoogleBot suit la GoogleBar!!

[jobetudiant]

C'est cur, ce coup là j'en ai la preuve! (ou presque)

Dans les stats de RobotsStats, je m'appercoit que google visite des liens inaccessibles sans authentification, mais mieux encore, qui n'éxistent pas en dur sur le site et sont générés à partir du nom d'utisateur... plein de doutes, j'ai demandé à un des visiteurs apparaissant si il avait la GoogleBar, réponse affirmative!

La seule autre solution, serait que cet utilisateur fasse passer son navigateur pour Google, ce que je ne crois pas!

La question est de savoir ensuite si il donne une valeur particulière à ces liens qu'ils trouvent par la GoogleBar...

[sdamain]

Y a t'il des adsenses sur ces pages ?

[vpx]

Ca fait longtemps que j'en suis convaincu aussi.

[JeunZ]

Les gros sites auraient alors un meilleur referencement, car googlebot serait appeler par la toolbar plus souvent

[Twister]

Les gros sites auraient alors un meilleur referencement, car googlebot serait appeler par la toolbar plus souvent

Il ne s'en sert peut-être que pour "découvrir" les pages.

Mais si ces pages recquièrent une identification, je ne comprends pas comment c'est possible.
Il y a une protection par mot de passe.
J'ai des pages qui recquièrent une identification, j'ai la toolbar, et googlebot n'est jamais venu.
Il ne peut pas, il n'a pas le mot de passe

[magicien]

Je confirme aussi : page sans lien... placée sur le serveur... consultée 1 fois sur ma machine... indexée par google...
Donc : il faut protéger toutes les pages "réservées" d'un site, ou ne pas les consulter

[ndailly]

Interessant ça comme observation...

Il faudrait peut-être mettre en place une étude sur l'influence de la Googlebarre sur le positionnement...

Est-ce que c'est la googlebarre qui provoque le phénoméne ou la consultation du PageRank ?

Quelqu'un a t'il fait le test avec le pagerank désactivé ?

Nico

[JeunZ]

En tout cas ca serait utile. Un site fais une news, les visiteurs vont dessus et googlebot la detecte directement avant meme d'avoir crawlé les pages faisant le lien.

[Dr DLP]

Comment suivrait-il certains formulaires sinon?

[rebirth]

Peut-etre d'ailleurs qu'ils se servent de la GoogleBar pour voir l'interet d'un site par rapport aux visiteurs, comme la profondeur de visites, le nombre de pages vues, le temps passe...et reporter ca sur le positionnement de Google....
Ca serait pas bete d'ailleurs.

Si seulement c'etait open-source tout ca, on pourrait voir ce qu'il y a dans le coeur

[Erazor]

Il ne peut pas, il n'a pas le mot de passe

rien de moins sur.EX :Les sites sous spip on accede a l'interface redaction par mot de passe or elles sont connues de GG .En plus si le webmaster a laissé un lien sur son site comme "admin" quand tu arrives sur l'interface admin la page a un page rank bien que protégée par un mot de passe
voila une page indexée dans GG qui indique que l'on est connecté ( bonjour=oui )
http://www.google.fr/search?sourceid=na ... jour%3Doui
bien sur si tu cliques ce lien le site te renvoie a la demande de password sur cette page :
http://www.tsisoa.com/spip/spip_login.p ... =ecrire%2F
n'empeche que GG connait celle d'après sans connaitre le password car la page indexée dans le moteur correspond bien a un utilisateur loggué après validation du password.

[maxttb]

Donc : il faut protéger toutes les pages "réservées" d'un site

D'un autre coté, il a toujours été plus que conseillé de protéger toutes ses pages reservées!
C'est quand même inquiétant de voir que Google arrive à trouver des pages, même censées être protégées par mot de passe... De plus, si on n'a pas donné de page à référencer à Google, c'est certainement pas pour qu'il les trouve à notre insu! Dans le cas d'un formulaire public, il est clair que c'est bien pratique, mais si le site a des failles de sécurité, comme une partie admin mal sécurisée, ca devient dangereux tout de même...

[turulillo]

Google crawle les pages au travers de la toolbar :
http://forums.searchenginewatch.com/sho ... #post18573
Google crawle les pages au travers d'AdSenses:
http://forums.searchenginewatch.com/sho ... php?t=1807
Le site de Fantomaster :
http://fantomaster.com/
Fantoqui ?
Le type qui émet cette théorie depuis des lustres...ainsi que Brett Tackle, l'éditeur de WebMasterWorld.
Mon humble participation à ce sujet :
http://www.webrankinfo.com/forums/highl ... htm#109807

[NSV]

Et un meta bloquant les robots permet d'éviter ce genre d'indexation, faut regarder

[Dr DLP]

Merci pour les liens turulillo

Pour ajouter au post, les forums privés des éditeurs DMOZ sont protégés par 2 .htpassword et le forums.dmoz.org a le robots.txt suivant :

# Please do not crawl us faster than 1 hit/second
#
User-agent: *
Disallow: /

Il a pourtant un PR de 3