Google ne crawl que mon index.

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics

pedouille
WRInaute discret
WRInaute discret
 
Messages: 85
Inscription: 24 Mai 2005

Google ne crawl que mon index.

Message le Jeu Sep 01, 2005 8:10

sur le site miage.etude-orleans.org, j'ai remarqué que google ne crawlait que ma page d'accueil. En effet, dans les logs d'apache, voila le chemin parcouru par le ggbot :

66.249.64.13 - - [28/Aug/2005:09:43:09 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.13 - - [28/Aug/2005:09:43:10 +0200] "GET / HTTP/1.0" 200 12037 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.53 - - [29/Aug/2005:07:55:11 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.53 - - [29/Aug/2005:07:55:11 +0200] "GET / HTTP/1.0" 200 12037 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.35 - - [30/Aug/2005:07:00:43 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.35 - - [30/Aug/2005:07:00:43 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.57 - - [31/Aug/2005:06:16:54 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.57 - - [31/Aug/2005:06:16:54 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.47 - - [31/Aug/2005:06:41:24 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.77 - - [01/Sep/2005:08:33:01 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.77 - - [01/Sep/2005:08:33:01 +0200] "GET / HTTP/1.0" 200 11249 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

J'aimerai simplement savoir si je dois m'armer de patience, ou si j'ai commis une erreur sur le site. J'ai tout de même vérifier ce que le bot voyait avec : http://www.yellowpipe.com/yis/tools/lyn ... rleans.org

et je crois que c'est correct...

votre avis ?


magicaxe
WRInaute discret
WRInaute discret
 
Messages: 151
Inscription: 18 Oct 2004

Message le Jeu Sep 01, 2005 8:49

Hello,

Je pense que tu devrais utiliser le système Google Sitemap, ainsi tu serait sûr que Google connait l'emplacement de toutes tes pages.

L'affichage de toutes les pages d'un site dans les recherche Google prend du temps, il te faut t'armer de patience...

Si tu veut un générateur de sitemap, dis le moi.


Borower
WRInaute passionné
WRInaute passionné
 
Messages: 2151
Inscription: 18 Avr 2005

Message le Jeu Sep 01, 2005 8:53

Magicaxe

Ton generateur de site map m'interesse.
Donc je te le dis.

++


magicaxe
WRInaute discret
WRInaute discret
 
Messages: 151
Inscription: 18 Oct 2004

Message le Jeu Sep 01, 2005 8:55

Héhé,

C'est dans la page "produits" du site de mon profil. Download Keyword Crawler.


Borower
WRInaute passionné
WRInaute passionné
 
Messages: 2151
Inscription: 18 Avr 2005

Message le Jeu Sep 01, 2005 9:00

Bonne pub lol.
Mais ca m'arrange je vais regarder ca.


magicaxe
WRInaute discret
WRInaute discret
 
Messages: 151
Inscription: 18 Oct 2004

Message le Jeu Sep 01, 2005 9:04

Peut-être, mais c'est gratuit et c'est censé aider les webmasters (qui peuvent aussi m'aider en suggérant des améliorations), donc pourquoi pas?


tangui
WRInaute impliqué
WRInaute impliqué
 
Messages: 863
Inscription: 10 Fév 2005

Message le Jeu Sep 01, 2005 9:55

C'est un super outil! je vois que tu as fait pleins d'améliorations! merci!! :D


magicaxe
WRInaute discret
WRInaute discret
 
Messages: 151
Inscription: 18 Oct 2004

Message le Jeu Sep 01, 2005 9:59

Je sais aussi qu'il y a quelques bugs que je vais corriger... prochainement. Ca me fait plein de boulot entre le site, le développement des logiciels et leur référencement sur les sites de downloads (en fait je crois que j'aime ça).

pedouille
WRInaute discret
WRInaute discret
 
Messages: 85
Inscription: 24 Mai 2005

Message le Ven Sep 02, 2005 13:02

J'ai essayé ton logiciel, et il est vraiment super ! Les résultats sont donc que je n'ai aucun lien mort, le logiciel arrive à aller vers toutes les pages de mon site (y compris le forum), et crawl même les pages "disallowed" du robots.txt ( c'est normal ??) .

Voila ce qu'il en est pour mon site, mais google n'indexe uniquement que la page d'index justement, malgré des visites journalières (vers 7-8h du matin)...

Est-ce que j'ai raison de m'inquiéter ?


magicaxe
WRInaute discret
WRInaute discret
 
Messages: 151
Inscription: 18 Oct 2004

Message le Ven Sep 02, 2005 21:50

Non, je ne pense pas. Teste avec mon site, tu verras que c'est pareil pour moi. J'ai commencé le référencement le mois passé.

Concernant le fichier robots.txt, c'est une une des prochaines amélioration.

pedouille
WRInaute discret
WRInaute discret
 
Messages: 85
Inscription: 24 Mai 2005

Message le Sam Sep 03, 2005 8:10

ok merci !

Vivement les améliorations, car c'est du bon boulot ton logiciel :wink:

pedouille
WRInaute discret
WRInaute discret
 
Messages: 85
Inscription: 24 Mai 2005

Message le Mar Sep 06, 2005 12:35

J'aurai encore une petite question : voila l'entete envoyé par mon serveur :

Code: Tout sélectionner
HTTP/1.1 200 OK
Date: Tue, 06 Sep 2005 11:31:40 GMT
Server: Apache/2.0.54 (Debian GNU/Linux) mod_pytho
n/3.1.3 Python/2.3.5 PHP/5.0.4-0.6.hoary.1 mod_per
l/1.999.21 Perl/v5.8.4
X-Powered-By: PHP/5.0.4-0.6.hoary.1
Set-Cookie: PHPSESSID=decaa583e8bc9a7946d8be71b8c2
cec0; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate
, post-check=0, pre-check=0
Pragma: no-cache
Connection: close
Content-Type: text/html


Est-ce que le Set-Cookie: PHPSESSID ... ne serait pas responsable du fait que google ne crawle que l'index ? Il n'y a pas de sessid dans l'URL bien sur, mais je me demandais si ca ne genait pas quand même...

Merci :D

La Chaise sauvage
WRInaute impliqué
WRInaute impliqué
 
Messages: 717
Inscription: 11 Avr 2005

Message le Mar Sep 06, 2005 13:03

Effectivement ça bugouille encore un peu -pour le site de mon profil, par exemple -> "Server error !" -
mais ça m'a tout l'air un outil à surveiller de très près ! Continue le bon boulot :P

pedouille
WRInaute discret
WRInaute discret
 
Messages: 85
Inscription: 24 Mai 2005

Message le Jeu Sep 08, 2005 13:52

C'est de plus en plus bizarre ! Regardez ce qui est indexé sur mon site :

http://www.google.fr/search?q=site:etud ... 1&filter=0

Pourquoi indexe-t-il des répertoires alors qu'il n'y a aucun lien vers eux ?

Et c'est quoi les paramètres qu'il rajoute à la fin des URL ?

ualvarez
WRInaute discret
WRInaute discret
 
Messages: 150
Inscription: 27 Mai 2005

Message le Ven Sep 09, 2005 10:26

Si ça vous intéresse, je connais une crawler qui tourne sous windows et qui marche très bien (même s'il est long)
http://johannesmueller.com/gs/


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités