[réglé] robots.txt

**le Mer Avr 27, 2005 10:08**

Hello,
J'ai fait une ommission dans mon robots.txt d'un forum phpbb url rewrité, et je l'ai donc mis reéllement en service que très rescemment. Google se met donc à ne plus mettre en cache les pages interdites, seulement, il semble ne pas mettre des pages qui devraient être autorisées.

Code: Tout sélectionner: User-agent: * Disallow: /forum/posting Disallow: /forum/profile Disallow: /forum/privmsg Disallow: /forum/viewonline Disallow: /forum/groupcp Disallow: /forum/memberlist Disallow: /forum/search Disallow: /forum/login Disallow: /forum/faq Disallow: /forum/post- Disallow: /forum/updates-topic Disallow: /forum/stop-updates-topic Disallow: /forum/ptopic Disallow: /forum/ntopic Disallow: /forum/sutra Disallow: /forum/setopic Disallow: /forum/mforum Disallow: /forum/index.php? Disallow: /forum/viewtopic.php? Disallow: /forum/viewforum.php?

Par exemple les pages dont l'url finit par forum1,2,3,... php ne sont pas mis en cache alors qu'elle sont précisemment celle que j'aimmerais voir référencé. De plus ggbot semble ne pas référencer du tout les ftopic1,2,3,...php alors que ce serait bien.

http://www.google.fr/search?hl=fr&q=sit ... ogle&meta=

Si vous avez une idée sur la question cela me permettrait d'être de nouveau référencé et ce serait très gentil

++

**le Mer Avr 27, 2005 11:14**

robots.txt

**le Mer Avr 27, 2005 11:29**

mon robots.txt s'appelle bien robots.txt en vrai

**le Mer Avr 27, 2005 11:35**

dcz a écrit:mon robots.txt s'appelle bien robots.txt en vrai

Ce serait sympa d'éditer ton premier post pour eviter aux debutants de faire la faute. :wink:

**le Mer Avr 27, 2005 11:48**

Sur ton site pas mal de topic et de pages sont PR0 sur ma toolbar mais pas forcément visible sur google ...
Essaye d'avoir des liens vers ton forum pour bouger un peu le bot.
Et un espèce de plan du forum aussi sa peut aider :lol:

**le Mer Avr 27, 2005 12:20**

bon c'est fait pour le s, mais ça ne m'aide toujours pas....
LE vrai probleme que j'ai c'est que le bot ne met pas en cache les forum.php alors qu'il devrait.
( du genre
-http://www.marsatak.org/marsforum/forum2.php [edit : devenue http://www.marsatak.org/marsforum/software-vf2.html]

et rien sur les ftopic du genre -http://www.marsatak.org/marsforum/ftopic18.php [edit : devenue http://www.marsatak.org/marsforum/elekt ... -vt18.html]

**le Mer Avr 27, 2005 13:09**

Code: Tout sélectionner: Disallow: /forum/index.php?

Ce ne serait pas cette ligne qui pose problème.

Sur le principe de l'url rewriting ce n'est pas l'index qui pose problème mais dès que le robot commence à naviguer il créé une requête donc obtient un id puis sur chaque page qu'il visite une adresse style forum/viewtopic.php?f=14&t=240513 qui peut empécher une bonne indexation.

La page index du forum n'ayant aucune variable et aucun sid ne devrait à mon sens par avoir de problème d'indexation.

A mon avis il faut donc sortir cette exclusion du robots.txt, c'est ce que j'ai fait et mon forum est indexé (du moins pour partie).

**le Mer Avr 27, 2005 13:14**

serval2a a écrit:
Code: Tout sélectionner
Disallow: /forum/index.php?

Ce ne serait pas cette ligne qui pose problème.

Joli coup d'oeil :lol:

mais les pages :
-http://www.marsatak.org/marsforum/forum9.php
-http://www.marsatak.org/marsforum/forum1.php
et compagnie sont indexés (je me suis pas trop casser la tête a chercher) :oops:

**le Mer Avr 27, 2005 13:22**

a priori non, car http://www.marsatak.org/marsforum/index.php est une des deux seules pages mise en cache par google. (cf http://www.google.fr/search?hl=fr&q=sit ... ogle&meta=)

et les autres sont, toujours d'après la même source pas mise en cache.
ni les ftopic d'ailleurs....

pour info, j'ai viré les sid...

**le Mer Avr 27, 2005 13:38**

Ce n'est pas parce que une page n'est pas en cache qu'elle n'est pas dans google ...

**le Mer Avr 27, 2005 13:49**

je sais bien, mais ces pages ne sont pas sensé ne pas y être. De plus les page non cachés ne semblent pas être disponible pour une recherche par mot clef..

**le Mer Avr 27, 2005 14:05**

Re,

C'est peut-être con mais bon je me lance.

Je constate une différence entre les URL indexées par google et le fichier robots.txt.

marsforum/viewonline.php
Disallow: /forum/viewonline

Tu es allé jusqu'à faire un rewriting du dossier ?

Si la réponse est non remplace forum par marsforum dans le fichier txt.

**le Mer Avr 27, 2005 15:44**

Merci pour cette remarque pertinante, mais mon vrai robots.txt à bien un marsforum à la place de forum, c'était pour rendre le problème un peu plus universel, mais j'aurais du le dire

**le Jeu Avr 28, 2005 12:30**

Donc,

Sur http://phpbb-fr.com/ , un membre m'a dit qu'il avait le même robots.txt et que google référancait bien toutes ses pages, donc cela doit venir d'autre chose.
Peut être que j'ai un peu "faché" le bot en lui interdisant d'un coup des pages et qu'il se "venge" en ne mettant pas en cache des pages qu'il devrait pourtant indexer normalement, comme -http://www.marsatak.org/marsforum/forum9.php [edit : devenue http://www.marsatak.org/marsforum/marsnews-vf9.html], et en ne suivant pas les lien autorisés comme -http://www.marsatak.org/marsforum/ftopic18.php [edit : devenue http://www.marsatak.org/marsforum/elekt ... -vt18.html].
( http://www.google.fr/search?hl=fr&q=sit ... ogle&meta= )

J'espère que cela va rentrer progressivement dans l'ordre....
On verra bien...

PS : les articles (les ftopic1,2,3,etc.php) ne sont plus accessible via une recherche par mot clefs dans google contrairement à précédemment (elektronika download rc4 me plassait dans les trois premier resultats...), seul les pages mise en cache semblent être rechercheable (clef : vj t34m)....

++

**le Ven Avr 29, 2005 18:42**

Google ne met toujours rien en cache, comprend pas...

[réglé] robots.txt

[réglé] robots.txt

scuse

Re: scuse

ok

a priori non

et oui

héhé

news

toujours iren de nouveau

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne