absence robots.txt et 404 personnalisée

**le Mar Déc 14, 2004 17:01**

Bonjour;

Je viens de reprérer le passage du crawler de Yahoo sur mon site dans mes logs. Il n'a demandé que le robots.txt qui n'existe pas et la page 404 personnalisée.
Je viens de tester -monsite.com/robots.txt- et on arrive effectivement sur ma 404 personnalisée.

Est-ce une erreur pénalisante ?

**le Mar Déc 14, 2004 18:50**

IL vaut mieux en mettre un

Disallow rien du tout, je ne sais pas, mais tu peux disallower une petite page qui ne sert a rien ( généralement, il y a en a toujours

**le Mar Déc 14, 2004 19:03**

Je viens d'en mettre un avec :

Code: Tout sélectionner: User-agent: *

Ca suffit, non ?

Ma question était plutôt : Est-ce une chausse-trappe réelle et/ou connue ?

Photoshop user · **le Mar Déc 14, 2004 19:32**

Même question que le Mr.

**le Mar Déc 14, 2004 19:33**

Arrêtez de flipper, si vous saviez le nombre de sites qui n'ont pas de robots.txt (Le mien compris)

**le Mar Déc 14, 2004 20:50**

Et avec un robots.txt vide, ça autorise Googel et les autres à vister tout le site, non ?
Enfin, moi j'en ai mis un, c'est juste pour éviter les erreurs 404...

Photoshop user · **le Mar Déc 14, 2004 21:43**

rituel a écrit:Arrêtez de flipper, si vous saviez le nombre de sites qui n'ont pas de robots.txt (Le mien compris)

Je flip pas Mr le Jolien :wink:

'Juste je voulais savoir la réponse et m'abonner au sujet c'est tout :wink:

**le Mar Déc 14, 2004 23:38**

Photoshop user a écrit:
rituel a écrit:Arrêtez de flipper, si vous saviez le nombre de sites qui n'ont pas de robots.txt (Le mien compris)

Je flip pas Mr le Jolien
'Juste je voulais savoir la réponse et m'abonner au sujet c'est tout

Mince je suis demasqué :lol:

**le Mer Déc 15, 2004 9:31**

rituel a écrit:Arrêtez de flipper, si vous saviez le nombre de sites qui n'ont pas de robots.txt (Le mien compris)

D'accord, mais que ce passe-t-il quand le bot demandant le robots.txt tombe sur une page 404 ??
Comment l'interprète-t-il ?

**le Mer Déc 15, 2004 22:17**

Birdman a écrit:Et avec un robots.txt vide, ça autorise Googel et les autres à vister tout le site, non ?
Enfin, moi j'en ai mis un, c'est juste pour éviter les erreurs 404...

Pareil. En plus, ca ne sert peut-etre a rien (repertoire).

**le Mer Déc 15, 2004 23:22**

Pour ton 404 personalisé tu peu regarder dans outils - > Entête HTTP (Header HTTP)

Si c bien un code 404 -> pas de probléme
Si c un code 200 avec qq chose apres tu peu douter ....

**le Mer Déc 15, 2004 23:51**

En meme temps, si tu cherche a acceder ta page 404 directement, elle va bien renvoyer un code 200...

**le Jeu Déc 16, 2004 10:44**

Pour un appel à une page qui n'existe pas, le serveur renvoi une erreur "302 Found" "document déplacé de façon temporaire"

Pour une page que j'ai déplacé en spécifiant son nouvel emplacement avec un .htaccess, le serveur renvoie une "301 Moved Permanently".

C'est bon non ?

**le Jeu Déc 16, 2004 16:52**

Si tu as dit de renvoyer une 301 dans tel et tel cas, c'est normal qu'il le fasse. Normalement la 301 permet de renvoyer vers une autre page.
Pour la 302 sur d'autres adresses, c'est bizzarre (a moins que tu l'aies spécifié dans le .htacces? en tous cas, il faut donner aussi une URL de destination, et la 302 peut poser des ennuis du moment qu'il y a des liens vers une page en 302)

**le Jeu Déc 16, 2004 19:38**

Pour la 302, c'est le résultat de ma 404 personnalisée.

Dans mon .htaccess, j'ai mis :

Code: Tout sélectionner: ErrorDocument 404 http://www.*****.com/_errors/404.html RedirectPermanent ancienepage.html http://www.domaine.tld/nouvellepage.html

absence robots.txt et 404 personnalisée

absence robots.txt et 404 personnalisée

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne