Une explication à ceci ?

[calou]

Qui pourrait m'expliquer ceci ?? D' apres ce que je voie c'est le robot mais pourquoi est il resté 3 secondes ?

Code: Tout sélectionner

[30/Mar/2004:14:29:29 +0200] "GET /robots.txt HTTP/1.0" 404 277 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

Et voici mon .htaccess

Code: Tout sélectionner

DirectoryIndex index.html index.htm portal.php index.php
RewriteEngine On
RewriteRule ^forums.* /index.php
RewriteRule ^forum([0-9]*).* /viewforum.php?f=$1&mark=topic
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*).* /viewforum.php?f=$1&topicdays=$2&start=$3
RewriteRule ^forum([0-9]*).* /viewforum.php?f=$1
RewriteRule ^ptopic([0-9]*).* /viewtopic.php?t=$1&view=previous
RewriteRule ^ntopic([0-9]*).* /viewtopic.php?t=$1&view=next
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* /viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4
RewriteRule ^ftopic([0-9]*)-([0-9]*).* /viewtopic.php?t=$1&start=$2
RewriteRule ^ftopic([0-9]*).* /viewtopic.php?t=$1
RewriteRule ^ftopic([0-9]*).html /viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5
RewriteRule ^sutra([0-9]*).* /viewtopic.php?p=$1

et j' ai appliqué ceci pour l'urlrewriting

Code: Tout sélectionner

Code:
//
// Short URL implementation
//
ob_start();
function replace_for_mod_rewrite(&$s)
{
$urlin =
array(
"'(?<!/)viewforum.php\?f=([0-9]*)&(?:amp;)topicdays=([0-9]*)&(?:amp;)start=([0-9]*)'",
"'(?<!/)viewforum.php\?f=([0-9]*)&(?:amp;)mark=topics'",
"'(?<!/)viewforum.php\?f=([0-9]*)'",
"'(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)view=previous'",
"'(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)view=next'",
"'(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)postdays=([0-9]*)&(?:amp;)postorder=([a-zA-Z]*)&(?:amp;)start=([0-9]*)'",
"'(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)start=([0-9]*)&(?:amp;)postdays=([0-9]*)&(?:amp;)postorder=([a-zA-Z]*)&(?:amp;)highlight=([a-zA-Z0-9]*)'",
"'(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)start=([0-9]*)'",
"'(?<!/)viewtopic.php\?t=([0-9]*)'",
"'(?<!/)viewtopic.php&(?:amp;)p=([0-9]*)'",
"'(?<!/)viewtopic.php\?p=([0-9]*)'",
);
$urlout = array(
"viewforum\\1-\\2-\\3.html",
"forum\\1.html",
"forum\\1.html",
"ptopic\\1.html",
"ntopic\\1.html",
"ftopic\\1-\\2-\\3-\\4.html",
"ftopic\\1.html",
"ftopic\\1-\\2.html",
"ftopic\\1.html",
"sutra\\1.html",
"sutra\\1.html",
);
$s = preg_replace($urlin, $urlout, $s);
return $s;
}


Step 2. In /includes/page_tail.php after


Code:
$db->sql_close();



add this:

Code:
$contents = ob_get_contents();
ob_end_clean();
echo replace_for_mod_rewrite($contents);
global $dbg_starttime;




in the same file after

Code:
ob_end_clean(); 



add this:

Code:
echo replace_for_mod_rewrite($contents);
global $dbg_starttime;

merci

[JPC]

Qu'est ce qui te fait dire qu'il est resté trois secondes ?
à priori, il est venu vérifier ton robots.txt, il n'en a pas vu;
il peut donc tout indexer...

[Invité]

Je ne vois pas non plus plus ou tu peux trouver l'info des 3 secondes.
De plus tu renvois des url rewriting relatifs à certaines pages et ta log correspond à l'accés au fichier robots.tx qui comme dit précédement n'existe pas sur ton site (code 404). Comprends pas trop...
dk

[calou]

voilà le robots.txt que je viens d'ajouter à la racine de mon site

Code: Tout sélectionner

User-agent: *
Disallow: sutra*.html$
Disallow: ptopic*.html$
Disallow: ntopic*.html$
Disallow: ftopic*asc*.html$

est ce que cela convient ?

[calou]

Je viens d'ajouter le lien dans mon profil se sera sans doute plus simple pour vous de m' aider un peu

[WebRankInfo]

retire les * et $ dans les lignes commençant par Disallow
PS : utilise le style Code et non le style Quote

[calou]

donc ça donne ceci :

Code: Tout sélectionner

User-agent: *
Disallow: sutra.html
Disallow: ptopic.html
Disallow: ntopic.html
Disallow: ftopic*asc.html

mais pour cette ligne

Code: Tout sélectionner

Disallow: ftopic*asc.html

que faut il mettre à la place de *

[WebRankInfo]

ça n'est pas possible... tu peux utiliser plutot la balise meta robots
fais un tour si besoin dans la FAQ spéciale fichier robots.txt et balises meta robot : http://www.webrankinfo.com/outils/robots/faq-robots.php

[calou]

Donc en robots.txt je mets l exemple qu'il ya ICI

Code: Tout sélectionner

User-agent: *
Disallow:

et à priori j' autorise les robots à indexer toutes les pages de mon site ?

Y a t'il des précautions à prendre pour un forum phpbb 2.0.8a ?

ET POUR FINIR ...faut il laisser les * dans le .htaccess

Code: Tout sélectionner

DirectoryIndex index.html index.htm portal.php index.php
RewriteEngine On
RewriteRule ^forums.* /index.php
RewriteRule ^forum([0-9]*).* /viewforum.php?f=$1&mark=topic
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*).* /viewforum.php?f=$1&topicdays=$2&start=$3
RewriteRule ^forum([0-9]*).* /viewforum.php?f=$1
RewriteRule ^ptopic([0-9]*).* /viewtopic.php?t=$1&view=previous
RewriteRule ^ntopic([0-9]*).* /viewtopic.php?t=$1&view=next
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* /viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4
RewriteRule ^ftopic([0-9]*)-([0-9]*).* /viewtopic.php?t=$1&start=$2
RewriteRule ^ftopic([0-9]*).* /viewtopic.php?t=$1
RewriteRule ^ftopic([0-9]*).html /viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5
RewriteRule ^sutra([0-9]*).* /viewtopic.php?p=$1

merci

[WebRankInfo]

il ne faut pas mettre le .* mais uniquement l'extension que tu utilises
si c'est .html tu dois écrire des lignes du style :

Code: Tout sélectionner

RewriteRule ^forum([0-9]*)\.html /viewforum.php?f=$1&mark=topic

[calou]

comme ça ?

Code: Tout sélectionner

DirectoryIndex index.html index.htm portal.php index.php
RewriteEngine On
RewriteRule ^forums.php /index.php
RewriteRule ^forum([0-9]*)\.html /viewforum.php?f=$1&mark=topic
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*)\.html /viewforum.php?f=$1&topicdays=$2&start=$3
RewriteRule ^forum([0-9]*)\.html /viewforum.php?f=$1
RewriteRule ^ptopic([0-9]*)\.html /viewtopic.php?t=$1&view=previous
RewriteRule ^ntopic([0-9]*)\.html /viewtopic.php?t=$1&view=next
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*)\.html /viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4
RewriteRule ^ftopic([0-9]*)-([0-9]*)\.html /viewtopic.php?t=$1&start=$2
RewriteRule ^ftopic([0-9]*)\.html /viewtopic.php?t=$1
RewriteRule ^ftopic([0-9]*)\.html /viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5
RewriteRule ^sutra([0-9]*)\.html /viewtopic.php?p=$1 

Et je laisse ça pour le robots.txt

Code: Tout sélectionner

User-agent: *
Disallow:

ou d' apres le .htaccess , je dois ajouter des lignes ?

[calou]

oupps c'est l'heure de l'apéro !! c'est pour ça que personne me répond

Faites moi un signe apres ... que je sache si c'est bon comme ça ou pas

merci

[calou]

Toujours pas de news

[WebRankInfo]

ça a l'air pas mal : as-tu testé ?

[calou]

je ne sais pas comment on fait pour tester de suite

mais hier le robot est passé est le même résultat :

Code: Tout sélectionner

[01/Apr/2004:12:52:00 +0200] "GET /robots.txt HTTP/1.0" 404 277 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

[01/Apr/2004:12:52:01 +0200] "GET / HTTP/1.0" 200 46940 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

mais j' avais pas encore fait les modifs dont tu m' as parlé ... ce qui peut expliquer celà puisqu'il est passé à 12:52

comme c'est un forum phpbb y a t'il des choses à ajouter dans le robots.txt et exite t'il un lien pour vérifier la validité de mon .htaccess et du robots.txt

merci