scanner toutes les urls d'un site

**le Lun Juin 12, 2006 15:05**

Bonujour.

Je possède aujourd'hui un site en dynamique et je désirerais trouver un script php qui me scanne l'ensemble des urls de mon site. Je cherche sur google mais je ne trouve pas.

Merci pour votre aide :wink:

**le Lun Juin 12, 2006 15:08**

Bonjour,

Tu pourrais préciser stp ? c'est dans quel but ?

**le Lun Juin 12, 2006 15:17**

Oui on a besoin de plus de précisions, c'est pour faire un sitemap, un plan de site?

sinon tu as : http://www.google.fr/search?hl=fr&q=sit ... ogle&meta=

Si tout est bien indexé

**le Lun Juin 12, 2006 15:22**

evets a écrit:Bonujour.

Je possède aujourd'hui un site en dynamique et je désirerais trouver un script php qui me scanne l'ensemble des urls de mon site. Je cherche sur google mais je ne trouve pas.

Merci pour votre aide

SOFTPlus GSiteCrawler: °http://johannesmueller.com/gs/

...le seul truc qu'il ne fait pas, c'est le café.

Edit: "script php"... :oops:

sorry

**le Lun Juin 12, 2006 15:25**

Merci pour votre réactivité rapide ! :wink:

En je voudrais créer un moteur de recherche interne pour mon site. Pour cela je voudrais indexer les pages de mon sites en extrayant le title, les keywords ...... Le problème c'est que j'ai plein de pages donc je voudrais créer un script qui scanne toutes les pages de mon site. Ce script me permettrait de récupérer l'url de la pages et le contenu.

Ma question dans ce post est uniquement de pouvoir scanner les url de mon sites. Par exemple, me retourner l'ensemble des urls présentent dans -http://www.example.fr/rubrique-Ville/*

Merci encore !

**le Lun Juin 12, 2006 15:29**

scanner toutes les pages y compris les pages dynamiques, y'a-t-il de l'UR sur ton site ?

**le Lun Juin 12, 2006 15:34**

excuse moi... de l'UR? :roll:

veut dire ?

**le Lun Juin 12, 2006 15:44**

UR = url rewriting

**le Lun Juin 12, 2006 16:00**

oui tout a fait, j'ai fait de l'url rewriting.

**le Lun Juin 12, 2006 16:02**

donc il ne faut pas un script qui scanne tout ton répertoire mais toutes les pages potentiellement créées et rewritées, non ?

**le Lun Juin 12, 2006 16:03**

je vais dire peut etre un truc bete, mais si tu utilisais Google comme moteur interne de ton site?

**le Lun Juin 12, 2006 16:05**

tout a fait, je ne veux pas scanner un répertoire mais bien les pages web rewritées sur le net : -http://www.examlpole.fr/rubrique-Ville/*

Merci .

PS : A moins de reconstruire mes pages rewritées a partir de la base :roll:

**le Lun Juin 12, 2006 16:09**

@AW : c'est un peu là que je voulais en venir oui...

@evets : tu veux dire, scanner toutes les pages dynamiques d'un répertoire et pour chaque page dynamique compter le nombre de pages rewritées (exemple pour une page de news on a news.php et dans la bdd il y a 144 id de news...), un peu lourd non ?

**le Lun Juin 12, 2006 16:23**

je sens que je suis de + en + perdu là

.

Je pensais trouver très vite un bout de code php pour crawler les pages de mon site comme le font les aspirateur de site mais je vois que c'est plus compliqué qu'il n'y parait.

Je pense que je vais bidouyer un truc a partir de ma base Mysql, c'est à dire, à partir de mes données et de ma politique d'UR, reconstituer les url http://.........

Merci pour votre aide en tous les cas ! :wink:

**le Lun Juin 12, 2006 16:38**

Ma solution te convient pas?

Sinon je te conseille ce post : http://www.webrankinfo.com/forums/viewtopic_41650.htm

scanner toutes les urls d'un site

scanner toutes les urls d'un site

Re: scanner toutes les urls d'un site

Lectures recommandées sur ce thème :

Qui est en ligne