[resolu]erreur 403 sur l'acces au robot.txt et l'index.php

Nouveau WRInaute
Bonjours, des que j'inscrit mon site , les google outils me retournent une erreur 403 sur mon fichier robot.txt, pourtant il est a la racine de mon site et accesible ( http://www.rc-plus.com/robots.txt).
il me signale que mon index est aussi inaccesible 403 ??

mon googlesitemap est ici: http://www.rc-plus.com/google_sitemap.php


voila mon robots.txt
Code:
User-agent: *	  # Pour tous les robots	
Disallow:	  # Rien nÕest interdit

main page
Disallow: /account.php
Disallow: /advanced_search.php
Disallow: /checkout_shipping.php
Disallow: /create_account.php
Disallow: /login.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /popup_image.php
Disallow: /shopping_cart.php

et voila mon .htaccess:
Code:
# modifie by riri
  php_value register_globals 1
# modifie by riri

ErrorDocument 404 http://www.rc-plus.com/index.php

Options +FollowSymLinks
RewriteEngine On 
RewriteBase /

RewriteRule ^(.*)-p-(.*).html$ product_info.php?products_id=$2&%{QUERY_STRING}
RewriteRule ^(.*)-c-(.*).html$ index.php?cPath=$2&%{QUERY_STRING}
RewriteRule ^(.*)-m-([0-9]+).html$ index.php?manufacturers_id=$2&%{QUERY_STRING}
RewriteRule ^(.*)-pi-([0-9]+).html$ popup_image.php?pID=$2&%{QUERY_STRING}
RewriteRule ^(.*)-t-([0-9]+).html$ articles.php?tPath=$2&%{QUERY_STRING}
RewriteRule ^(.*)-a-([0-9]+).html$ article_info.php?articles_id=$2&%{QUERY_STRING}
RewriteRule ^(.*)-pr-([0-9]+).html$ product_reviews.php?products_id=$2&%{QUERY_STRING}
RewriteRule ^(.*)-pri-([0-9]+).html$ product_reviews_info.php?products_id=$2&%{QUERY_STRING}
RewriteRule ^(.*)-i-([0-9]+).html$ information.php?info_id=$2&%{QUERY_STRING}

auiez vous une idée pour que je puisse referencer mon site ?

merci pour votre aide
Richard[/img]
 
Nouveau WRInaute
j'ai explorer mes logs apache et voila une drole de decouverte:
Code:
220.181.19.162 - - [20/Aug/2007:05:12:35 +0200] "GET /robots.txt HTTP/1.1" 200 353 "-" "Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)" 
74.6.19.151 - - [20/Aug/2007:11:28:10 +0200] "GET /robots.txt HTTP/1.0" 406 344 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)";
66.249.65.170 - - [20/Aug/2007:12:30:02 +0200] "GET /robots.txt HTTP/1.1" 403 988 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)" 
70.169.191.4 - - [20/Aug/2007:12:44:07 +0200] "GET /robots.txt HTTP/1.0" 200 353 "-" "envolk/1.7 (+http://www.envolk.com/envolkspiderinfo.html)" 
122.152.128.49 - - [20/Aug/2007:18:57:30 +0200] "GET /robots.txt HTTP/1.1" 200 353 "-" "Baiduspider+(+http://www.baidu.com/search/spider_jp.html)" 
64.246.178.34 - - [20/Aug/2007:19:59:35 +0200] "GET /robots.txt HTTP/1.0" 200 353 "http://www.whois.sc/" "SurveyBot/2.3 (Whois Source)"

comment une requete Get sur un meme fichier peut-elle avoire une reponse differente ??
 
WRInaute accro
Pour les variations de statut HTTP, il faut croire qu'il y a eu des changements au niveau de ton serveur (ou des problèmes techniques) entre les différentes visites des robots au robots.txt.

C'est quoi ce "main page" dans ton robots.txt ? En tout cas, ce n'est absolument pas conforme au standard. Quel est le but ?

Jean-Luc
 
Nouveau WRInaute
Merci pour ton aide,
pour le robots.txt, je l'ai modifié ainsi:
Code:
User-agent: *	  # Pour tous les robots	
Disallow:	  # Rien n’est interdit


Disallow: /account.php
Disallow: /advanced_search.php
Disallow: /checkout_shipping.php
Disallow: /create_account.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /popup_image.php
Disallow: /shopping_cart.php

le truc que je n'arrive pas a m'expliqué c'est que la réponse au get de google est toujours 403, donc ce n'est pas une erreur aléatoire ou un changement au niveau du serveur.
 
WRInaute accro
Un fichier robots.txt est composé de groupes d'instructions séparées par une ou plusieurs lignes vides. Chaque groupe d'instructions commence obligatoirement par une ou plusieurs lignes User-agent:, immédiatement suivies de une ou plusieurs lignes Disallow:.

Donc le contenu de ton fichier n'est toujours pas conforme. :?

Jean-Luc
 
Nouveau WRInaute
comme cela ?
Code:
User-agent: *	  # Pour tous les robots	
Disallow:	  # Rien n’est interdit

User-agent: *
Disallow: /account.php
Disallow: /advanced_search.php
Disallow: /checkout_shipping.php
Disallow: /create_account.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /popup_image.php
Disallow: /shopping_cart.php

Richard
 
WRInaute accro
Code:
User-agent: * 
Disallow: /account.php 
Disallow: /advanced_search.php 
Disallow: /checkout_shipping.php 
Disallow: /create_account.php 
Disallow: /login.php 
Disallow: /password_forgotten.php 
Disallow: /popup_image.php 
Disallow: /shopping_cart.php
Comme ceci, les robots savent qu'ils peuvent aller partout sauf dans les adresses qui commencent par /account.php, par /advanced_search.php, /checkout_shipping.php,... et /shopping_cart.php.

Tu ne peux pas avoir deux fois "User-agent: *" dans le fichier.

Malheureusement tout ceci ne résoud pas ton problème de 403...

Jean-Luc
 
Nouveau WRInaute
ok, et encore merci :lol: , le fichier robots.txt est bon,
mais comme tu dit si bien mon problème 403 est toujours là? :evil:

Richard
 
Nouveau WRInaute
En fait, c'etait mon hebergeur qui avait un bug, il a tout réparé et tout est rentré dans l'ordre,
encore merci pour les corrections du fichier robots.txt

Richard
:D :lol: :D
 
Discussions similaires
Haut