Crawl ne dépasse pas la page d'accueil et semblant de problème d'encodage

[milkiway]

Bonjour,

En essayant de lancer un Xenu sur mon site actuel pour faire une cartographie de toutes mes URL, j'ai découvert que le logiciel ne parvenait pas à crawler le site : il reste bloqué sur la home Ca ne me le fait que pour ce site là.

De plus, une fois un membre de ce forum retif m'a dit que de chez lui il était impossible d'accéder à mon site, ça renvoyait une erreur de dingue (du genre des signes étranges de partout en noir sur fond blanc).

1- Pourriez vous jeter un oeil pour savoir si ça le fait de chez vous ?
2- Savez vous pourquoi Xenu peut bloquer sur la home ?

EDIT : pire encore, quand je teste une page profonde du type [modéré OTP]
=> Xenu ne donne aucun lien, comme s'il ne voyait pas la page !
Au niveau du header HTTP j'ai ça :

HTTP/1.1 200 OK
Date: Mon, 08 Mar 2010 17:26:06 GMT
Server: Apache/2.2.X (OVH)
X-Powered-By: PHP/4.4.9
Set-Cookie: deja_venu=1
Cache-Control: max-age=86400, public
Expires: Thu, 19 Jan 2012 08:37:33 GMT
Vary: Accept-Encoding
Content-Type: text/html

Merci

PS : le lien : [modéré OTP]
Svp ne pas rendre le lien inclicable, ici on est en nofollow et en plus ça me permet de supprimer le trafic généré de mes stats trafic et serveur pub.

[milkiway]

Bonjour,

Un modérateur peut il éditer les liens svp ? Toute mention concernant le nom de mon site, ça fait pas sérieux.
A quand une partie du forum non indexée !!

Sinon pour aider ceux qui cherchent la même chose que moi, un utilisateur avancé de Linux m'a trouvé le problème en utilisant Curl.
Il y avait un problème de compression : les pages étaient compressées mais indiquées aux bots et navigateurs comme ... non compressées. Du coup c'était le foutoir. J'ai viré toute compression Gzip en attendant de mettre un système qui fonctionne.

[nickargall]

Hello
Bon t'as fini par trouver alors ? J'avais pas pensé à ça, en effet ...

Sinon, tu peux éditer toi meme tes propres messages,pas besoin d'un modérateur pour ça

[milkiway]

Hé non je ne peux pas, ça se désactive au bout de quelques instants.
Merci pour ton aide en tout cas, c'est sympa d'avoir regardé.

Pour info, le trouble fête était un script de compression de pages à la volée repris sur php.net.

[OTP]

Un modérateur peut il éditer les liens svp ?

Fait.