Rewriting et problèmes avec certains moteurs

**le Mar Juil 22, 2003 20:11**

Bonjour,

J'ai mis en place le rewriting pour mon site début juillet et j'attends patiemment les retombées...
Cependant j'ai quelques problèmes avec certains moteurs.
voici les erreurs 404 que je reçois :

Code: Tout sélectionner: HTTP_FROM => mailto:crawl-support@av.com HTTP_HOST => www.domainegorn.com HTTP_USER_AGENT => Scooter/3.2 PATH => /sbin:/usr/sbin:/bin:/usr/bin:/usr/X11R6/bin REDIRECT_ERROR_NOTES => File does not exist: /home/sites/site143/web/series/index_pouvoir REDIRECT_REQUEST_METHOD => GET REDIRECT_SCRIPT_URI => http://www.domainegorn.com/series/index_pouvoir REDIRECT_SCRIPT_URL => /series/index_pouvoir

Pour info la bonne URL est :
http://www.domainegorn.com/series/index_pouvoir.html

ou encore

Code: Tout sélectionner: HTTP_USER_AGENT => ASPseek/1.2.10 PATH => /sbin:/usr/sbin:/bin:/usr/bin:/usr/X11R6/bin REDIRECT_ERROR_NOTES => File does not exist: /home/sites/site143/web/series/index_.html REDIRECT_REQUEST_METHOD => GET REDIRECT_SCRIPT_URI => http://www.domainegorn.com/series/index_.html REDIRECT_SCRIPT_URL => /series/index_.html

J'avoue être perplexe

Est-ce que quelqu'un pourrait me dire se qui se passe exactement.
Par avance merci

Grand-Pas

**le Mar Juil 22, 2003 22:08**

Je confirme que les pages /series/index_.html et /series/index_pouvoir renvoient des erreurs 404...

La question qu'on peut se poser c'est:

Comment est-ce que les moteurs ont fait pour collecter ces urls erronees ?

Si tu generes les liens vers les fichiers series/index_nomdeserie.html grace a une requete vers une BdD, verifie tes scripts php... Un debordement de tableau est si vite arrive...

En ce qui concerne le /series/index_pouvoir, je ne vois pas ce qui aurait pu causer l'oubli du html...

Ton site etait-il accessible lorsque tu faisais des developpements ? As-tu constate et corrige ce genre de bugs ? Si oui, on peut penser que les crawlers sont passes au mauvais moment...

Autre hypothese: Ces moteurs essaient peut-etre de dejouer d'eventuels pieges a bot utilisant l'UR... Constatant l'existence de nombreuses url basees sur le meme principe index_nomdefichier.html, ils ont peut-etre tout simplement tente de prendre la page index_.html... Les pieges a bots ne doivent pas renvoyer d'erreur 404 quand les parametres sont invalides... Enfin ceci n'est qu'une hypothese...

Quelqu'un a-t-il deja constate ce genre de comportement chez des bots ?

Olivier,

**le Mar Juil 22, 2003 22:37**

Hello,

Merci pour ta réponse.
Concernant le débordement de tableau je ne vois pas trop ce que tu veux dire ?
Les liens sont générés via BdD. Jusqu'à présent aucun problème de connexion constatée au niveau de la base....

Par contre c'est possible que les crawlers soient passés pendant mes développements sur l'url rewriting et alors là pas de chance...

Mais j'ai plus l'impression qu'ils continuent à passer et à se casser les dents.

Bizarre....

GP

**le Mer Juil 23, 2003 9:29**

Salut,

j'ai aussi remarqué ce genre de problème avec Scooter, 2 ex :

HTTP_USER_AGENT : Scooter/3.2
REDIRECT_STATUS : 404
REDIRECT_URL : /contact.ph
(au lieu contact.php)

HTTP_USER_AGENT : Scooter/3.2
REDIRECT_STATUS : 404
REDIRECT_URL : /forums/topic_7
(au lieu /forums/topic_739.php)

Ces pages n'ayant bien sur jamais existé, ça peut pas etre un problème du genre "il est passé pendant le dev." ... Etrange ...

Gus

**le Mer Juil 23, 2003 13:53**

Bon, je viens de faire une recherche sur le forum en tapant Scooter (ce que l'on devraitd'ailleurs toujours faire avant de poser une question ;-)

Le sujet a deja ete aborde dans ce fil: http://www.webrankinfo.com/forums/viewtopic.php?p=18136

Il semble que Scooter soit bogue...

Olivier,

**le Mer Juil 23, 2003 23:13**

Arf j'avais pourtant cherché mais pas sur le scooter

En fait j'ai surtout posé la question car cela ne m'arrive pas qu'avant le scooter... il y a un second drôle dans l'histoire : Aspseek.

En tout cas maintenant le scooter il recherche des urls à base de chiffres et je ne sais absolument pas d'où il les sort.. je reçois des erreurs 404 assez étranges :mrgreen:

En tout cas merci pour votre aide. Cela me rassures je commencais à avoir des sueurs froides en me demanant comment j'avais bien pu foirer mon rewriting

@+
GP

Rewriting et problèmes avec certains moteurs

Rewriting et problèmes avec certains moteurs

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne