Nettoyer un annuaire de ses 404

[VeeTouine]

Bonjour tout le monde,

J'ai mon annuaire qui est tout jeune et je commence à penser à la validation des url histoire de purger les 404 qu'on pourrait trouver.

A votre avis, quelle est la meilleure facon pour faire ca correctement?
Je pensais tester l'url d'une fiche dès qu'un visiteur l'ouvre, et m'envoyer un mail, voire dépublier automatiquement la fiche si ca retourne une 404.
Par contre, j'ai peur que ca ralentisse trop l'affichage, ou que ca surcharge le serveur, j'en sais rien en fait car je manque cruellement d'expérience dans le developpement php, vu que c'est mon premier script (le site en question est sous joomla)

Auriez vous une methode à conseiller sur ce genre de truc?

Merci à vous

VeeTouine

 

[OTP]

1/ Créer une page qui contient toutes les URL
2/ Analyser cette page avec un plug-in ou online pour détecter les 404
3/ Nettoyer
4/ Recommencer tous les x mois/x semaines

 

[5_legs]

Bonsoir,

Noble, perspicace et qualitative interrogation

Néanmoins Il y a d'autres critères à prendre en compte : un site en parking ne retournera pas de "404" pour autant doit-il resté proposé aux visiteurs ? ;-)

 

[OTP]

Proposer alors le signalement par les visiteurs.
Pas infaillible mais ça aidera quand même.

 

[5_legs]

Proposer alors le signalement par les visiteurs.
Pas infaillible mais ça aidera quand même.

Yes sir ! ;-)
Je reprends votre idée Maître :

1/ Créer une page qui contient toutes les URL

Afficher une vignette actualisée du site dans un format suffisamment grand pour permettre en un coup d'œil de repérer les 404, les parkings et autre joyeusetés ;-)

nettoyer ... perdre entre 3 et 5% de ses résultats ... geindre pour la perte ... être satisfait d'apporter un service de qualité

 

[VeeTouine]

hmmmm merci pour vos réponses... reponses rapides en plus !

Idées judicieuses effectivement!

Toujours grace à WRI, j'ai trouvé ce soft http://home.snafu.de/tilman/xenulink.html qui permet de checker une liste d'urls a partir d'un fichier texte.

Je viens de faire un tit script qui me genere le fichier, le soucis c'est que l'outil verifier les url que je lui fournit... ainsi que toutes celles qui en dépendent 8O
Il y a bien une option à decoche mais elle n'est pas prise en compte :?

Connaissez vous un freeware du meme style? J'en ai bien trouvé un autre, mais un peu trop vieux pour vista malheureusement
Je prefererais lancer le truc en local, mais si je n'ai pas le choix, j'essaierai des solutions online.

Merci à vous

 

[Leonick]

Je viens de faire un tit script qui me genere le fichier, le soucis c'est que l'outil verifier les url que je lui fournit... ainsi que toutes celles qui en dépendent 8O

bizarre, je n'ai jamais eu ce problème avec xenu

 

[UsagiYojimbo]

Moi non plus, en demandant au site de n'analyser que les liens de premier niveau, il s'arrête là et hop.

La plupart des plugins FF qui analysent les liens (par exemple LinkChecker) donne plus d'info que la seule 404 : tu peux ainsi savoir s'il y a redirection, etc. Ce qui permet déjà une analyse plus poussée que la bête analyse des pages inexistantes.

 

[VeeTouine]

Bon sang je n'avais pas pensé au plugin FF!

Je viens de teste LinkChecker (en beta pour la v3.5 de FF) et Pinger qui fait la meme chose.

C'est nickel, les liens ok sont surlignés en vert, les autres d'une autre couleur selon la reponse retournée.

Et j'ai donc reussi a faire mon premier script php qui permet d'extraire tous les liens de la table mysql qui va bien, et de les mettre sur une meme page html

Mon annuaire vous remercie ! :wink:

VeeTouine

 

[OTP]

Qu'est ce que je disais, hein ! :mrgreen:

 

[VeeTouine]

OTP, oui mon maîîîîîîître :mrgreen: :wink:

 

[5_legs]

Moi non plus, en demandant au site de n'analyser que les liens de premier niveau, il s'arrête là et hop.

La plupart des plugins FF qui analysent les liens (par exemple LinkChecker) donne plus d'info que la seule 404 : tu peux ainsi savoir s'il y a redirection, etc. Ce qui permet déjà une analyse plus poussée que la bête analyse des pages inexistantes.

On peut en déterminer les sites en parking ?
Si oui ça va me faire gagner un temps fou

 

[OTP]

OTP, oui mon maîîîîîîître :mrgreen: :wink:

Merci, merci, tu peux disposer !

 

[UsagiYojimbo]

Nan pour ça malheureusement je n'ai pas trouvé d'autres solutions que de vérifier au cas par cas.

 

[5_legs]

Merci (encore une fois) pour ta réponse.
Faute de trouver un système complet, je vais garder ma bonne vignette 320x240 : à ce jeu l'œil s'habitue vite.

 

[Leonick]

Nan pour ça malheureusement je n'ai pas trouvé d'autres solutions que de vérifier au cas par cas.

et en analysant le contenu ça ne pourrait pas marcher ? car il n'y a que peu de régies parking, donc si on trouve ces liens c'est que le site est en parking, non ?

 

[UsagiYojimbo]

J'avais bien pensé à ça aussi, et du coup à développer un bout de script PHP qui ferait une analyse du contenu de la home du site en question pour chercher des mots-clés de type sedo, mais il y a encore une possible marge d'erreur.

 

[Leonick]

oui mais le script ne ferait que t'informer de l'éventualité de parking, après à toi de valider manuellement

 

[KOogar]

pas pour faire de la pub, j'ai mis un code sur phpsources il y a longtemps mais qui fonctionne pas trop mal et il est simple a coupler avec une BDD
il ressort toute les erreurs importantes pour la gestion d'un annuaire:
-http://www.phpsources.org/scripts92-PHP.htm

 

[jeanluc]

On peut en déterminer les sites en parking ?

Je propose un outil gratuit de test des liens ( http://www.verification-des-liens.com/test-liens/ ) qui détecte une partie des pages mises en parking (pas toutes) et différentes autres erreurs malgré que la page renvoie un code "200 ok".

Suite à une autre discussion sur WRI, j'envisage de proposer une version de l'outil comme plugin pour Firefox.

Jean-Luc

 

[VeeTouine]

pas pour faire de la pub, j'ai mis un code sur phpsources il y a longtemps mais qui fonctionne pas trop mal et il est simple a coupler avec une BDD
il ressort toute les erreurs importantes pour la gestion d'un annuaire:
-http://www.phpsources.org/scripts92-PHP.htm

ah ben la page que tu cites est dans mes favoris depuis quelques jours, j'avais pensé réutiliser ce code, et je pense que je m'en servirai à un moment ou à un autre