Googlebar, confidentialité, passage du bot et indexation
35 messages • Page 1 sur 3 • 1, 2, 3
Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics
Googlebar, confidentialité, passage du bot et indexation
Bonjour à tous.
J'avais deja fait un post la dessus mais comme ca m'est arrivé de nouveau je pense que ca peut vous intéresser.
Je constate que google vient crawler des pages chez moi alors que celles ci lui sont théoriquement inconnues : il n'y a absolument aucun lien pointant vers ces pages sur le web, car elles sont toutes neuves et que je ne les ai pas encore publiées.
Peut etre que l'adresse est perdue dans des logs de référants mais ces pages sont en général protégées et le laps de temps entre la création de la page et le passage du bot me parait trop court pour qu'il l'ai touvé en crawlant des logs de référants (d'ailleurs souvent inaccessibles).
Je pense que le passage du bot est lié à la présence de la googlebar sur mon internet explorer. J'ai évidemment activé les options avancées ce qui implique que "certaines infos. peuvent etre transmises à google". Et c'est manifestement le cas : la semaine dernière j'ai commencé à développer 3 pages et le surlendemain du début de leur développement elles ont recu le passage du bot. J'avais utilisé le bouton "Vote for this page" dans les 3 cas. Je ne dis pas que c'est cela qui a provoqué le passage du bot, mais c'est quand meme troublant !
(cf. http://www.webrankinfo.com/forums/viewtopic_5614.htm )
Edit : ci-dessous deux lignes de de logs de ces visites (la 3eme page a été crawlée un jour ou les logs ont planté
)
64.68.87.41 web31 - [24/Nov/2003:18:59:30 +0100] "GET /accueil/faq.php HTTP/1.0" 200 11465 "-" "Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)"
64.68.87.69 web31 - [22/Nov/2003:03:15:52 +0100] "GET /voyage/peche-steelhead-cattaraugus.php HTTP/1.0" 200 14675 "-" "Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)"
S'agit-il du vrai googlebot ???????
Je précise par ailleurs que j'utilise beaucoup Opera et que j'ai choisi comme barre de pub en haut les pubs suggérées par google : ce truc la peut aussi envoyer des infos non
J'avais deja fait un post la dessus mais comme ca m'est arrivé de nouveau je pense que ca peut vous intéresser.
Je constate que google vient crawler des pages chez moi alors que celles ci lui sont théoriquement inconnues : il n'y a absolument aucun lien pointant vers ces pages sur le web, car elles sont toutes neuves et que je ne les ai pas encore publiées.
Peut etre que l'adresse est perdue dans des logs de référants mais ces pages sont en général protégées et le laps de temps entre la création de la page et le passage du bot me parait trop court pour qu'il l'ai touvé en crawlant des logs de référants (d'ailleurs souvent inaccessibles).
Je pense que le passage du bot est lié à la présence de la googlebar sur mon internet explorer. J'ai évidemment activé les options avancées ce qui implique que "certaines infos. peuvent etre transmises à google". Et c'est manifestement le cas : la semaine dernière j'ai commencé à développer 3 pages et le surlendemain du début de leur développement elles ont recu le passage du bot. J'avais utilisé le bouton "Vote for this page" dans les 3 cas. Je ne dis pas que c'est cela qui a provoqué le passage du bot, mais c'est quand meme troublant !
(cf. http://www.webrankinfo.com/forums/viewtopic_5614.htm )
Edit : ci-dessous deux lignes de de logs de ces visites (la 3eme page a été crawlée un jour ou les logs ont planté
64.68.87.41 web31 - [24/Nov/2003:18:59:30 +0100] "GET /accueil/faq.php HTTP/1.0" 200 11465 "-" "Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)"
64.68.87.69 web31 - [22/Nov/2003:03:15:52 +0100] "GET /voyage/peche-steelhead-cattaraugus.php HTTP/1.0" 200 14675 "-" "Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)"
S'agit-il du vrai googlebot ???????
Je précise par ailleurs que j'utilise beaucoup Opera et que j'ai choisi comme barre de pub en haut les pubs suggérées par google : ce truc la peut aussi envoyer des infos non
Dernière édition par nico__p le Mer Nov 26, 2003 15:32, édité 1 fois.
Re: Googlebar, confidentialité, passage du bot et indexation
nico__p a écrit:car elles sont toutes neuves et que je ne les ai pas encore publiées. )
pas publiées ? tu veux dire qu'elles sont pas encore sur le net ?
il est trop fort, ce google !
.
Re: Googlebar, confidentialité, passage du bot et indexation
pas publiées ? tu veux dire qu'elles sont pas encore sur le net ?
il est trop fort, ce google !
.
Pas publiées : je veux dire qu'il n'y a aucune page sur le web liant ces pages car je les ai créé et je suis le seul à connaitre l'adresse : google se sert donc manifestement des toolbars et autre pour collecter des URL non ?
Le plus frappant pour moi est la rapidité du crawl : le lendemain ou surlendemain de la création de la page.
-

George Abitbol - WRInaute accro

- Messages: 1923
- Inscription: Ven Juin 06, 2003 7:57
Americas a écrit:Et qu'est-ce qui se passe si on appuie sur le bouton "vote contre cette page" ?
Il blackliste tous tes sites, même ceux que tu feras dans le futur, ainsi que ceux de ton éventuelle descendance et une tempête sans précédent s'abattra sur ta région, y éliminant toute forme de vie.
Ne jamais sous-estimer le pouvoir de Google.
Fred
Americas a écrit:Je vais essayer de faire une page sur les pommes que je vais mettre dans un repertoire à part et voter pour cette page
Ca va surement marcher, j'en connais un qui est devenu président de la république avec le même concept "pomme" "voter"
Plus sérieusement, un test avait déjà été fait dans ce sens, il avait été negatif, et avec les filtres posés, ce serait une nouvelle porte ouverte à du n'importe quoi
Kmacleod a écrit:Plus sérieusement, un test avait déjà été fait dans ce sens, il avait été negatif, et avec les filtres posés, ce serait une nouvelle porte ouverte à du n'importe quoi
Ok mais comment expliquer le passage du bot sur ces pages ? Car il est bien passé : cf. les logs.
PS : oui, je suis certain que ces urls n'etaient pas dispo. sur le web : elles n'ont pu etre connues du bot que par mon passage dessus car je suis le seul à connaitre les adresses et a etre passé sur ces pages... a part le bot justement !
Dernière édition par nico__p le Mer Nov 26, 2003 18:10, édité 1 fois.
moi aussi nico j'ai le meme probleme...enfin presque. En attendant le transfert des dns de mon nom de domaine, mon site etait accessible via une rl temporaire chez ovh du style ~drimmo. et j'ai retrouvé cette page sur google! et le pire c'est qu'il indexe celle la et plus mon ndd 
-

WebRankInfo - Administrateur du site

- Messages: 15905
- Inscription: Ven Avr 19, 2002 19:51
on en parle ici : http://www.webrankinfo.com/forums/viewtopic_6235.htm
WebRankInfo a écrit:on en parle ici : http://www.webrankinfo.com/forums/viewtopic_6235.htm
Euh je vois pas le rapport à part qu'on parle aussi de la toolbar
35 messages • Page 1 sur 3 • 1, 2, 3
Formation recommandée sur ce thème :
Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Mise à jour de Google Images (16/04/2006)
- Etude de Googlebot, le robot crawler de Google (Fresh Bot, Deep Bot)
- Mise à jour de Google Images (Juillet 2006)
- Tout pour indexer vos contenus dans Google
- Liste des produits et services de Google
- Etude de Googlebot, le robot d'indexation de Google
- Outil de test d'indexation Google + analyse de l'âge d'un site
- Présentation de Google Desktop Search (GDS)
- Google crawle les fichiers CSS
- Live Search corrige le problème de referrers
Consultez la description détaillée des produits ou services de Google suivants : JotSpot
- Tester l'indexation récente d'un site dans Google
Cet outil vous permet de connaître une estimation de l'ancienneté d'un site : il fournit la date à laquelle Google l'a indexé la première fois (et la même chose pour archive.org).
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités





le forum