[resolu]erreur 403 sur l'acces au robot.txt et l'index.php

[farinet]

Bonjours, des que j'inscrit mon site , les google outils me retournent une erreur 403 sur mon fichier robot.txt, pourtant il est a la racine de mon site et accesible ( http://www.rc-plus.com/robots.txt).
il me signale que mon index est aussi inaccesible 403 ??

mon googlesitemap est ici: http://www.rc-plus.com/google_sitemap.php


voila mon robots.txt

Code: Tout sélectionner

User-agent: *     # Pour tous les robots   
Disallow:     # Rien nÕest interdit

main page
Disallow: /account.php
Disallow: /advanced_search.php
Disallow: /checkout_shipping.php
Disallow: /create_account.php
Disallow: /login.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /popup_image.php
Disallow: /shopping_cart.php


et voila mon .htaccess:

Code: Tout sélectionner

# modifie by riri
  php_value register_globals 1
# modifie by riri

ErrorDocument 404 http://www.rc-plus.com/index.php

Options +FollowSymLinks
RewriteEngine On
RewriteBase /

RewriteRule ^(.*)-p-(.*).html$ product_info.php?products_id=$2&%{QUERY_STRING}
RewriteRule ^(.*)-c-(.*).html$ index.php?cPath=$2&%{QUERY_STRING}
RewriteRule ^(.*)-m-([0-9]+).html$ index.php?manufacturers_id=$2&%{QUERY_STRING}
RewriteRule ^(.*)-pi-([0-9]+).html$ popup_image.php?pID=$2&%{QUERY_STRING}
RewriteRule ^(.*)-t-([0-9]+).html$ articles.php?tPath=$2&%{QUERY_STRING}
RewriteRule ^(.*)-a-([0-9]+).html$ article_info.php?articles_id=$2&%{QUERY_STRING}
RewriteRule ^(.*)-pr-([0-9]+).html$ product_reviews.php?products_id=$2&%{QUERY_STRING}
RewriteRule ^(.*)-pri-([0-9]+).html$ product_reviews_info.php?products_id=$2&%{QUERY_STRING}
RewriteRule ^(.*)-i-([0-9]+).html$ information.php?info_id=$2&%{QUERY_STRING}


auiez vous une idée pour que je puisse referencer mon site ?

merci pour votre aide
Richard[/img]

[farinet]

j'ai explorer mes logs apache et voila une drole de decouverte:

Code: Tout sélectionner

220.181.19.162 - - [20/Aug/2007:05:12:35 +0200] "GET /robots.txt HTTP/1.1" 200 353 "-" "Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
74.6.19.151 - - [20/Aug/2007:11:28:10 +0200] "GET /robots.txt HTTP/1.0" 406 344 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)";
66.249.65.170 - - [20/Aug/2007:12:30:02 +0200] "GET /robots.txt HTTP/1.1" 403 988 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
70.169.191.4 - - [20/Aug/2007:12:44:07 +0200] "GET /robots.txt HTTP/1.0" 200 353 "-" "envolk/1.7 (+http://www.envolk.com/envolkspiderinfo.html)"
122.152.128.49 - - [20/Aug/2007:18:57:30 +0200] "GET /robots.txt HTTP/1.1" 200 353 "-" "Baiduspider+(+http://www.baidu.com/search/spider_jp.html)"
64.246.178.34 - - [20/Aug/2007:19:59:35 +0200] "GET /robots.txt HTTP/1.0" 200 353 "http://www.whois.sc/" "SurveyBot/2.3 (Whois Source)"


comment une requete Get sur un meme fichier peut-elle avoire une reponse differente ??

[jeanluc]

Pour les variations de statut HTTP, il faut croire qu'il y a eu des changements au niveau de ton serveur (ou des problèmes techniques) entre les différentes visites des robots au robots.txt.

C'est quoi ce "main page" dans ton robots.txt ? En tout cas, ce n'est absolument pas conforme au standard. Quel est le but ?

Jean-Luc

[farinet]

Merci pour ton aide,
pour le robots.txt, je l'ai modifié ainsi:

Code: Tout sélectionner

User-agent: *     # Pour tous les robots   
Disallow:     # Rien n’est interdit


Disallow: /account.php
Disallow: /advanced_search.php
Disallow: /checkout_shipping.php
Disallow: /create_account.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /popup_image.php
Disallow: /shopping_cart.php


le truc que je n'arrive pas a m'expliqué c'est que la réponse au get de google est toujours 403, donc ce n'est pas une erreur aléatoire ou un changement au niveau du serveur.

[jeanluc]

Un fichier robots.txt est composé de groupes d'instructions séparées par une ou plusieurs lignes vides. Chaque groupe d'instructions commence obligatoirement par une ou plusieurs lignes User-agent:, immédiatement suivies de une ou plusieurs lignes Disallow:.

Donc le contenu de ton fichier n'est toujours pas conforme.

Jean-Luc

[farinet]

comme cela ?

Code: Tout sélectionner

User-agent: *     # Pour tous les robots   
Disallow:     # Rien n’est interdit

User-agent: *
Disallow: /account.php
Disallow: /advanced_search.php
Disallow: /checkout_shipping.php
Disallow: /create_account.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /popup_image.php
Disallow: /shopping_cart.php

Richard

[jeanluc]

Code: Tout sélectionner

User-agent: *
Disallow: /account.php
Disallow: /advanced_search.php
Disallow: /checkout_shipping.php
Disallow: /create_account.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /popup_image.php
Disallow: /shopping_cart.php

Comme ceci, les robots savent qu'ils peuvent aller partout sauf dans les adresses qui commencent par /account.php, par /advanced_search.php, /checkout_shipping.php,... et /shopping_cart.php.

Tu ne peux pas avoir deux fois "User-agent: *" dans le fichier.

Malheureusement tout ceci ne résoud pas ton problème de 403...

Jean-Luc

[farinet]

ok, et encore merci , le fichier robots.txt est bon,
mais comme tu dit si bien mon problème 403 est toujours là?

Richard

[farinet]

En fait, c'etait mon hebergeur qui avait un bug, il a tout réparé et tout est rentré dans l'ordre,
encore merci pour les corrections du fichier robots.txt

Richard