Google ne crawl que mon index.

**le Jeu Sep 01, 2005 8:10**

sur le site miage.etude-orleans.org, j'ai remarqué que google ne crawlait que ma page d'accueil. En effet, dans les logs d'apache, voila le chemin parcouru par le ggbot :

66.249.64.13 - - [28/Aug/2005:09:43:09 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.13 - - [28/Aug/2005:09:43:10 +0200] "GET / HTTP/1.0" 200 12037 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.53 - - [29/Aug/2005:07:55:11 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.53 - - [29/Aug/2005:07:55:11 +0200] "GET / HTTP/1.0" 200 12037 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.35 - - [30/Aug/2005:07:00:43 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.35 - - [30/Aug/2005:07:00:43 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.57 - - [31/Aug/2005:06:16:54 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.57 - - [31/Aug/2005:06:16:54 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.47 - - [31/Aug/2005:06:41:24 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.77 - - [01/Sep/2005:08:33:01 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.77 - - [01/Sep/2005:08:33:01 +0200] "GET / HTTP/1.0" 200 11249 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

J'aimerai simplement savoir si je dois m'armer de patience, ou si j'ai commis une erreur sur le site. J'ai tout de même vérifier ce que le bot voyait avec : http://www.yellowpipe.com/yis/tools/lyn ... rleans.org

et je crois que c'est correct...

votre avis ?

**le Jeu Sep 01, 2005 8:49**

Hello,

Je pense que tu devrais utiliser le système Google Sitemap, ainsi tu serait sûr que Google connait l'emplacement de toutes tes pages.

L'affichage de toutes les pages d'un site dans les recherche Google prend du temps, il te faut t'armer de patience...

Si tu veut un générateur de sitemap, dis le moi.

**le Jeu Sep 01, 2005 8:53**

Magicaxe

Ton generateur de site map m'interesse.
Donc je te le dis.

++

**le Jeu Sep 01, 2005 8:55**

Héhé,

C'est dans la page "produits" du site de mon profil. Download Keyword Crawler.

**le Jeu Sep 01, 2005 9:00**

Bonne pub lol.
Mais ca m'arrange je vais regarder ca.

**le Jeu Sep 01, 2005 9:04**

Peut-être, mais c'est gratuit et c'est censé aider les webmasters (qui peuvent aussi m'aider en suggérant des améliorations), donc pourquoi pas?

**le Jeu Sep 01, 2005 9:55**

C'est un super outil! je vois que tu as fait pleins d'améliorations! merci!!

**le Jeu Sep 01, 2005 9:59**

Je sais aussi qu'il y a quelques bugs que je vais corriger... prochainement. Ca me fait plein de boulot entre le site, le développement des logiciels et leur référencement sur les sites de downloads (en fait je crois que j'aime ça).

**le Ven Sep 02, 2005 13:02**

J'ai essayé ton logiciel, et il est vraiment super ! Les résultats sont donc que je n'ai aucun lien mort, le logiciel arrive à aller vers toutes les pages de mon site (y compris le forum), et crawl même les pages "disallowed" du robots.txt ( c'est normal ??) .

Voila ce qu'il en est pour mon site, mais google n'indexe uniquement que la page d'index justement, malgré des visites journalières (vers 7-8h du matin)...

Est-ce que j'ai raison de m'inquiéter ?

**le Ven Sep 02, 2005 21:50**

Non, je ne pense pas. Teste avec mon site, tu verras que c'est pareil pour moi. J'ai commencé le référencement le mois passé.

Concernant le fichier robots.txt, c'est une une des prochaines amélioration.

**le Sam Sep 03, 2005 8:10**

ok merci !

Vivement les améliorations, car c'est du bon boulot ton logiciel :wink:

**le Mar Sep 06, 2005 12:35**

J'aurai encore une petite question : voila l'entete envoyé par mon serveur :

Code: Tout sélectionner: HTTP/1.1 200 OK Date: Tue, 06 Sep 2005 11:31:40 GMT Server: Apache/2.0.54 (Debian GNU/Linux) mod_pytho n/3.1.3 Python/2.3.5 PHP/5.0.4-0.6.hoary.1 mod_per l/1.999.21 Perl/v5.8.4 X-Powered-By: PHP/5.0.4-0.6.hoary.1 Set-Cookie: PHPSESSID=decaa583e8bc9a7946d8be71b8c2 cec0; path=/ Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate , post-check=0, pre-check=0 Pragma: no-cache Connection: close Content-Type: text/html

Est-ce que le Set-Cookie: PHPSESSID ... ne serait pas responsable du fait que google ne crawle que l'index ? Il n'y a pas de sessid dans l'URL bien sur, mais je me demandais si ca ne genait pas quand même...

Merci

**le Mar Sep 06, 2005 13:03**

Effectivement ça bugouille encore un peu -pour le site de mon profil, par exemple -> "Server error !" -
mais ça m'a tout l'air un outil à surveiller de très près ! Continue le bon boulot

**le Jeu Sep 08, 2005 13:52**

C'est de plus en plus bizarre ! Regardez ce qui est indexé sur mon site :

http://www.google.fr/search?q=site:etud ... 1&filter=0

Pourquoi indexe-t-il des répertoires alors qu'il n'y a aucun lien vers eux ?

Et c'est quoi les paramètres qu'il rajoute à la fin des URL ?

**le Ven Sep 09, 2005 10:26**

Si ça vous intéresse, je connais une crawler qui tourne sous windows et qui marche très bien (même s'il est long)
http://johannesmueller.com/gs/

Google ne crawl que mon index.

Google ne crawl que mon index.

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne