Bonjour
Il y a trois jours environ, GWT m'indique environ 250 erreurs "Autres" ( erreurs 302, mais semble-t-il pages atteignables ), et je supprime ces pages de GWT, après avoir testé deux pages avec l'outil de visite de GWT.
J'ai encore le même message ce matin de GWT, et de nouveau deux tests faits par mes soins, indiquent que les pages sont joignables correctement, et indexables.
J'en perd mon latin.
Ces pages existent, elles sont de la forme :
http://---.pronostics-courses.fr/php/courses_anciennes/pronostics_old_ ... 95263.html
par exemple, avec le fichier .htaccess suivant :
#----------------------------------------------
# Regles d'url-rewriting
#----------------------------------------------
# Repertoire: /php/courses_anciennes/
#----------------------------------------------
# Base de l'url-rewriting
RewriteBase /php/courses_anciennes/
# Activation du module de recriture d'URL :
RewriteEngine On
#----------------------------------------------
# Regles d'url-rewriting
#----------------------------------------------
# Regles de reecriture d'URL :
#----------------------------------------------
# Regle d'ajout de www
# RewriteCond %{HTTP_HOST} !^www\.pronostics-courses\.fr$
# RewriteRule (.*) http://www.pronostics-courses.fr/php/courses_anciennes/$1 [QSA,L,R=301]
RewriteRule ^action_old_courses,([0-9]+),([0-9]+),([0-9]+)\.html$ action_old_courses.php?JOUR=$1&MOIS=$2&AN=$3 [L]
RewriteRule ^pronostics_old_courses,([0-9]+)\.html$ pronostics_old_courses.php?NUMCRS=$1 [L]
RewriteRule ^stat2_old_courses,([0-9]),([0-9]),([0-9]),([0-9]),([0-9]),([0-9]),([0-9]+)r([0-9]+)r([0-9]+)r([0-9]+)r([0-9-]+)r([0-9-]+)r([0-9])r([0-9])\.html$ [G]
J'ai également testé avec mon navigateur Firefox en vérifiant l'en-tête http, qui indique le code 200 pour cette url et toutes les urls contenues dedans.
Y a-t-il une erreur dans mon fichier .htaccess ?
Jusqu'à présent, je n'avais pas ce genre d'erreur.
Avez-vous le même résultat avec vos sites ?
Ceci dit, j'avoue que je filtre les accès à mon site, venant de certains sites, de deux façons :
Par le reverse, si celui-ci matche des expressions régulières que j'ai mises dans ma table MySQL FORBIDDEN_REVERSE,
Si le nombre de visites/minute, dépasse une certaine valeur, qui hier était 20 parfois, mais que j'ai ramené hier soir à plus de 30.
Dans ce dernier cas, je suis averti par email à chaque premier blocage d'une ip, j'ai accès aux reverses et user agent de ces ip, et ce matin, j'ai viré des ip bloquées de la liste noire, ( et de ma table FORBIDDEN_REVERSE ), la plupart des enregs litigieux.
Cependant dans le cas où une page serait bloquée par mon pare-feu "soft" vis-à-vis d'un bot de Google, il ne devrait pas y avoir erreur 302, mais code correct 200, et simplement le message : "IP interdite pour abus", ou qqchose comme çà.
J'ajoute, que j'ai avais mis ( entre autres ) dans ma table MySQL OK_REVERSE, l'espression régulière suivante :
crawler.googlebot.com
Ceci permet sans restriction, aux ip dont le reverse matche cette regexp, de visiter mon site.
D'autre part, j'ai la preuve que ce mécanisme de mon pare-feu software, fonctionne dans ce cas, car mon site partenaire arrive à accéder à mon site sans problème, et une regexp ciblant son type de dédié, figure dans cette table FORBIDDEN_REVERSE.
Donc... S'il y a de blocages de Google, je devrais être averti par email.
Or... J'ai revu la config de ce pare-feu ce matin, donc en le rendant plus permissif, mais il ne semble pas que ce pare-feu soit en cause dans ce problème des erreurs 302
D'où vient le problème de GWT ?
Merci beaucoup de vos réponses.
Bien amicalement.
Jean François Ortolo
Il y a trois jours environ, GWT m'indique environ 250 erreurs "Autres" ( erreurs 302, mais semble-t-il pages atteignables ), et je supprime ces pages de GWT, après avoir testé deux pages avec l'outil de visite de GWT.
J'ai encore le même message ce matin de GWT, et de nouveau deux tests faits par mes soins, indiquent que les pages sont joignables correctement, et indexables.
J'en perd mon latin.
Ces pages existent, elles sont de la forme :
http://---.pronostics-courses.fr/php/courses_anciennes/pronostics_old_ ... 95263.html
par exemple, avec le fichier .htaccess suivant :
#----------------------------------------------
# Regles d'url-rewriting
#----------------------------------------------
# Repertoire: /php/courses_anciennes/
#----------------------------------------------
# Base de l'url-rewriting
RewriteBase /php/courses_anciennes/
# Activation du module de recriture d'URL :
RewriteEngine On
#----------------------------------------------
# Regles d'url-rewriting
#----------------------------------------------
# Regles de reecriture d'URL :
#----------------------------------------------
# Regle d'ajout de www
# RewriteCond %{HTTP_HOST} !^www\.pronostics-courses\.fr$
# RewriteRule (.*) http://www.pronostics-courses.fr/php/courses_anciennes/$1 [QSA,L,R=301]
RewriteRule ^action_old_courses,([0-9]+),([0-9]+),([0-9]+)\.html$ action_old_courses.php?JOUR=$1&MOIS=$2&AN=$3 [L]
RewriteRule ^pronostics_old_courses,([0-9]+)\.html$ pronostics_old_courses.php?NUMCRS=$1 [L]
RewriteRule ^stat2_old_courses,([0-9]),([0-9]),([0-9]),([0-9]),([0-9]),([0-9]),([0-9]+)r([0-9]+)r([0-9]+)r([0-9]+)r([0-9-]+)r([0-9-]+)r([0-9])r([0-9])\.html$ [G]
J'ai également testé avec mon navigateur Firefox en vérifiant l'en-tête http, qui indique le code 200 pour cette url et toutes les urls contenues dedans.
Y a-t-il une erreur dans mon fichier .htaccess ?
Jusqu'à présent, je n'avais pas ce genre d'erreur.
Avez-vous le même résultat avec vos sites ?
Ceci dit, j'avoue que je filtre les accès à mon site, venant de certains sites, de deux façons :
Par le reverse, si celui-ci matche des expressions régulières que j'ai mises dans ma table MySQL FORBIDDEN_REVERSE,
Si le nombre de visites/minute, dépasse une certaine valeur, qui hier était 20 parfois, mais que j'ai ramené hier soir à plus de 30.
Dans ce dernier cas, je suis averti par email à chaque premier blocage d'une ip, j'ai accès aux reverses et user agent de ces ip, et ce matin, j'ai viré des ip bloquées de la liste noire, ( et de ma table FORBIDDEN_REVERSE ), la plupart des enregs litigieux.
Cependant dans le cas où une page serait bloquée par mon pare-feu "soft" vis-à-vis d'un bot de Google, il ne devrait pas y avoir erreur 302, mais code correct 200, et simplement le message : "IP interdite pour abus", ou qqchose comme çà.
J'ajoute, que j'ai avais mis ( entre autres ) dans ma table MySQL OK_REVERSE, l'espression régulière suivante :
crawler.googlebot.com
Ceci permet sans restriction, aux ip dont le reverse matche cette regexp, de visiter mon site.
D'autre part, j'ai la preuve que ce mécanisme de mon pare-feu software, fonctionne dans ce cas, car mon site partenaire arrive à accéder à mon site sans problème, et une regexp ciblant son type de dédié, figure dans cette table FORBIDDEN_REVERSE.
Donc... S'il y a de blocages de Google, je devrais être averti par email.
Or... J'ai revu la config de ce pare-feu ce matin, donc en le rendant plus permissif, mais il ne semble pas que ce pare-feu soit en cause dans ce problème des erreurs 302
D'où vient le problème de GWT ?
Merci beaucoup de vos réponses.
Bien amicalement.
Jean François Ortolo