Temps entre crawl et indexation

[curumo]

Bonjour, j'ai beau avoir cherché je n'ai pas trouvé cette information.

Je me fait crawler comme un fou pour mon petit site perso depuis quelques mois par Google. Or pas beaucoup de liens existent vraiment (en fait aucun des mots clefs d'aucun des posts visités ne sont reconnu ).

Je m'interrogeais donc sur une chose : combien de temps faut-il à google pour indexer une page après sa visite ? Une seule visite pour cette page lui suffit nan ?

D'avance merci et désolé si la question a déjà été posé 1000 fois mais mes recherches ici même ont été infructueuses

[wasabi]

ca depend, parfois 1 jour, parfois plus, parfois jamais...

[curumo]

super... Merci de ta réponse, et au risque d'être du coup sur le mauvais forum : as tu une idée de la raison qui pousse google a avoir crawler plus de 2000 pages de mon forum en n'indexant que les categories et 4 posts les plus ininteressants ??

[biddybulle]

y a deux types de robots chez google

un qui indexe et un autre qui surveille

[muelsaco]

Celui qui surveille consiste en quoi???

[Toutou-Fr]

super... Merci de ta réponse, et au risque d'être du coup sur le mauvais forum : as tu une idée de la raison qui pousse google a avoir crawler plus de 2000 pages de mon forum en n'indexant que les categories et 4 posts les plus ininteressants ??

peut être parcequ'il ne pouvait pas savoir à l'avance qu'il ne les indexerait pas avant meme de les avoir crawlées .

Enfin, à mon avis si au bout de plusieurs mois un grand nombre de tes pages ne sont toujours pas indexées et que tu ne constates aucune évolution (à voir avec la commande site:) , je pense que tu peux te poser des questions sur tes pages. Google arrive t'il à les lire correctement ? n'y a t'il pas un htaccess ou un robots.txt pouvant poser probleme? aucun risque de duplicate content, ou de suspection de cloacking, ou toute autre pratique peu recommandable..?

[curumo]

Euh aucune arnaque google vu comment je suis doué en plus lol !

Non j'ai effectivement un robots.txt

Code: Tout sélectionner

User-agent: *
Disallow:/login.php
Disallow:/modcp.php
Disallow:/posting.php
Disallow:/privmsg.php
Disallow:/search.php
Disallow:/viewonline.php
Disallow:/profile.php
Disallow:/memberlist.php
Disallow:/faq.php
Disallow:/raccourci.php
Disallow:/statistics.php

et un htaccess :

Code: Tout sélectionner

RewriteEngine On
RewriteRule ^forums.* index.php
RewriteRule ^mforum([0-9]*).* viewforum.php?f=$1&mark=topics
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*).* viewforum.php?f=$1&topicdays=$2&start=$3
RewriteRule ^forum([0-9]*).* viewforum.php?f=$1
RewriteRule ^ptopic([0-9]*).* viewtopic.php?t=$1&view=previous
RewriteRule ^ntopic([0-9]*).* viewtopic.php?t=$1&view=next
RewriteRule ^stopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&watch=topic&start=$2
RewriteRule ^utopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&unwatch=topic&start=$2
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4
RewriteRule ^ftopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&start=$2
RewriteRule ^ftopic([0-9]*).* viewtopic.php?t=$1
RewriteRule ^ftopic([0-9]*).html viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5
RewriteRule ^setopic_([0-9]*)-([a-zA-Z0-9]*).* viewtopic.php?t=$1&highlight=$2
RewriteRule ^sutra([0-9]*).* viewtopic.php?p=$1
RewriteRule ^newtopic([0-9]*).* viewtopic.php?t=$1&view=newest

Personnellement je ne vois pas bien ce qui cloche ?! la commande site me donne que les forums comme je l'explique plus haut

http://www.aratars.org
Pourtant url rewritting et je suis sur un nom de domaine depuis novembre maintenant... Bon ok Google se dechaine depuis quelques temps (en fait depuis decembre c'ets la folie pour ce que j'en sais puisque j'avais l'ancienne version de robotstats qui n'avait pas les bons noms de Google)
Par ailleurs, j'ai retiré les sid pour les invités (cf le post sur phpbb-fr de DrDLP) et enfin j'ai installé ce MOD (toujours sous phpBB) :

Code: Tout sélectionner

#-----[ OUVRIR  ]------------------------------------------
includes/sessions.php

#-----[ TROUVER ]------------------------------------------
   global $SID;

   if ( !empty($SID) && !eregi('sid=', $url) )

#-----[ REPLAMCER PAR ]------------------------------------------
   global $SID, $HTTP_SERVER_VARS;

   if ( !empty($SID) && !eregi('sid=', $url) && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'Googlebot') && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'slurp@inktomi.com;'))


Voilà donc si vous y comprenez quelques choses vous..

Petits nota bene (peut être ca le soucis notez bien) : j'ai mis la balise <meta keywords> et ses copains dans le page header donc en fait les mêmes méta sont repris dans chaque page... Ca vient peut être de là ?!

[curumo]

up ?!