Crawler sur N niveaux

**le Mer Avr 27, 2011 2:01**

Bonjour à tous

je suis en train de finaliser un "crawler", qui aspire tous les liens d'une page à l'autre, les tags title, h1, meta description, meta keywords, meta robots, canonical, redirects 301 et 302, pages en 404 dans une base de données

je stocke aussi le niveau des pages dans l'arborescence et le temps de réponse de chaque page crawlée.

je cherche des personnes pour tester les resultats avec moi. J'ai l'intuition que ce robot peut aider pas mal de référenceur dans l'automatisation et le suivi des regles du refnat

le cas que j'aimerais bien tester : vous avez un site > 10 000 pages et pas trop grand non plus

l'idéal, serait meme de le faire sur un site de e-commerce

j'expliquerai pourquoi dans un autre topic

En échange de mes données, je vous demanderai un peu d'aide dans la mise au point de mon systeme

(ps j'ai decouvert Spider Simulator, mais il ne marche pas, je n'ai meme pas pu le tester, et je serais bien surpris qu'il fasse tout ce que fait mon robot ;-)

)

ca interesse qq'un ?

**le Mer Avr 27, 2011 7:36**

>> pas trop grand non plus
c'est à dire ?

**le Mer Avr 27, 2011 10:48**

e-kiwi a écrit:>> pas trop grand non plus
c'est à dire ?

disons 1 million ... maximum

**le Mer Avr 27, 2011 20:19**

e-kiwi a écrit:>> pas trop grand non plus
c'est à dire ?

tiens, je l'ai passé sur ton site, sur 3 niveaux, de maniere "light"

voila ce que je trouve en automatique

- tu as un lien foireux là

Code: Tout sélectionner: <a href="http:// " target="_blank">http:// </a></p> sur http://www.publi.fr/annuaire?categorie=432

- tu n'as pas de H1 sur

Code: Tout sélectionner: http://www.publi.fr/immobilier/vente/ http://www.publi.fr/immobilier/location/ http://www.publi.fr/immobilier/vacances/ http://www.publi.fr/immobilier/neuf/ http://www.publi.fr/auto-moto/voiture/ http://www.publi.fr/auto-moto/deux-roues/ http://www.publi.fr/bonnes-affaires/ http://www.publi.fr/rencontres/ http://www.publi.fr/immobilier/entreprise/ http://www.publi.fr/immobilier/commerce/ http://www.publi.fr/auto-moto/nautisme/ http://www.publi.fr/materiel/ http://www.publi.fr/contacts/ http://www.publi.fr/services/contact_pro.html http://www.publi.fr/contact.html http://www.publi.fr/annonce/envoiMail/

pas de title sur

Code: Tout sélectionner: http://www.publi.fr/annonce/alerteMail.html?rub=AUT002002&marqueAutoName=&marqueAuto=&modeleGroupAuto=

tes pages avec le plus de liens sont

http://www.publi.fr/auto-moto/voiture/carcassonne,11/| 194
http://www.publi.fr/auto-moto/voiture/aude,11/| 193
http://www.publi.fr/auto-moto/voiture/auch,32/| 191
http://www.publi.fr/auto-moto/voiture/toulouse,31/| 190

je ne vois pas de meta robots alimentés

je ne vois pas de redirects

je ne vois pas de nofollow

je ne vois aucun 404

je ne vois aucun redirect 301 ni 302

tes ancres les plus frequentes sont (sur un echantillon)

Code: Tout sélectionner: ajouter à ma sélection |14007 voir le détail |13107 soyez vigilants |8316 accueil |8252 annuaire des pros |4170 la dépêche interactive |4158 infos légales |4158 déposez votre annonce |4158 contact |4158

etc...etc....

**le Mer Avr 27, 2011 20:34**

e-kiwi a écrit:>> pas trop grand non plus
c'est à dire ?

**le Mer Avr 27, 2011 21:28**

Eh Fabien ? C'est quoi ce b*rdel sur ton site ?
Pfff... comment tu me déçois :mrgreen:

**le Mer Avr 27, 2011 22:16**

HawkEye a écrit:Eh Fabien ? C'est quoi ce b*rdel sur ton site ?
Pfff... comment tu me déçois

Hey HawkEye

c'est de l'humour de geek, mais tiens, voila un peu d'aide :

))

Code: Tout sélectionner: tu pourrais corriger http://annuaire.indexweb.info/90230-2734/le-bts-ig-disparait-profit-bts-sio.html pour changer http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-pr-eacute-occupations-informatiques.html par http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-preoccupations-informatiques.html pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/137093-2694/creation-blog-entreprise.html pour changer http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-pr-eacute-occupations-informatiques.html par http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-preoccupations-informatiques.html pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/137093-2481/le-meilleur-magazine-webdesign.html pour changer http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-pr-eacute-occupations-informatiques.html par http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-preoccupations-informatiques.html pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/137093-2468/conception-plaquette-paris.html pour changer http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-pr-eacute-occupations-informatiques.html par http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-preoccupations-informatiques.html pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/137093-2461/conception-logo-paris.html pour changer http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-pr-eacute-occupations-informatiques.html par http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-preoccupations-informatiques.html pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/105710-2379/nouveau-blog-qui-informe-boutique-arbre-cadeaux-cadeaux-personnalises.html pour changer http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-pr-eacute-occupations-informatiques.html par http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-preoccupations-informatiques.html pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/2568-2152/blog-photo-nature-nouvelle-version.html pour changer http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-pr-eacute-occupations-informatiques.html par http://annuaire.indexweb.info/120689-2140/blog-microsupport-relayer-preoccupations-informatiques.html pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/116760/transfert-sauvegarde-film-super-8-8mm-9-5mm-16mm-dvd.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/44123/france24-observateurs-actualite.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/1208/leakir-rejoignez-notre-communaute-celibataires.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/102147/tupuna-tattoo-palavas.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/113989/courtage-travaux-renovation-construction-alpes-maritimes.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/80785/restaurant-maison-basse-lasneohain.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/3701/mesopinions-com.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/42341/enlevement-epaves-epave-express.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/79261/hotel-madagascar-tana-hotel-antananarivo.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/57564/vente-pieces-detachees-automobile-cockaerts-belgique.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/64627/jeux-alternatifs.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/51691/jeux-gratuits-ligne-ludokado.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/57521/location-voiture-auto-ecole-permis-malin.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/129590/ambiance-restaurant-mobilier-arts-table.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/1002/abcoeur.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/77003/agence-voyages-moto-organisation-accompagnement.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/18369/la-clede.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/36757/bijoux-bois.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/29083/produits-eclairage-ampoule-leds.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/29083/produits-eclairage-ampoule-leds.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/106853/cabinet-avocats-marbot-corno.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/19198/chapellerie-traclet.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/69202/devoirs-fr-entraide-scolaire.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/17180/bjorg-produits-bio.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/65327/annonseo-annuaire-gratuit-communiques.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/120580/le-coffret-11-dvd-secrets-histoire.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/44874/personal-shopper-marie-noelle-paris-conseil-relooking.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/25625/l-amusant-musee.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/96088/centre-bronzage-sun-or-paris-11eme.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/43914/jlm-assurance-agent-assurances-flers-domfront.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/2204/controle-radar.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/46740/intersport-e-commerce-magasin-sport-ligne.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/71842/marque-page-art-signet-art.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/127889/conception-vente-ligne-ordinateurs-design-performants.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/118638/papeterie-bsl.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/53338/t-shirt-poker-personnaliser.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/70801/intellect-territorial-concours-redacteur-fonction-publique.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/70801/intellect-territorial-concours-redacteur-fonction-publique.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/70801/intellect-territorial-concours-redacteur-fonction-publique.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/70801/intellect-territorial-concours-redacteur-fonction-publique.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/70801/intellect-territorial-concours-redacteur-fonction-publique.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/25711/campement-yourtes-mongolie-chambre-hotes-nomade-lodge.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/92985/cabinet-independant-experts-immobiliers-gonthier-sollies-pont-var.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/67631/police-caracteres-ecologique-economique-ecofont.html pour changer http://annuaire.indexweb.info/editeurs/HawkEye/ par http://annuaire.indexweb.info/gestion.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/manager.php pour changer http://annuaire.indexweb.info/manager.php?do=add_site par http://annuaire.indexweb.info/manager.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/manager.php?do=lostpass pour changer http://annuaire.indexweb.info/manager.php?do=add_site par http://annuaire.indexweb.info/manager.php pour avoir moins de redirect 301 tu pourrais corriger http://annuaire.indexweb.info/manager.php?do=add_site pour changer http://annuaire.indexweb.info/manager.php?do=add_site par http://annuaire.indexweb.info/manager.php pour avoir moins de redirect 301

enfin, pour ce que j'en dis moi

**le Mer Avr 27, 2011 22:21**

Toi j't'aime plus.

:mrgreen:

Pour les erreurs d'html entities, c'est dans le tube.
Pour les 301 "compte éditeur", ça reste comme ça pour l'instant: ce sera réutilisé très bientôt (V4 sur les rails...

).

Merci pour le rappel.

Pas merci pour m'avoir grillé :mrgreen:

**le Jeu Avr 28, 2011 6:14**

HawkEye a écrit:Toi j't'aime plus.

Pour les erreurs d'html entities, c'est dans le tube.
Pour les 301 "compte éditeur", ça reste comme ça pour l'instant: ce sera réutilisé très bientôt (V4 sur les rails... ).

Merci pour le rappel.

héhé

ca prouve bien une chose, vous êtes des supers cadors en SEO, mais le suivi des regles de base est super difficile à faire . Je pense que mon crawler peut etre utilisé dans ce sens

imagine un tableau de bord avec les indicateurs comme le webmaster tools, mais qui correspondent à ton site à toi ...
et dans lequel tu pourrais meme rajouter des regles de surveillance propres à ton site ...

je cherche comment continuer

Crawler sur N niveaux

Crawler sur N niveaux

Re: Crawler sur N niveaux

Re: Crawler sur N niveaux

Re: Crawler sur N niveaux

Re: Crawler sur N niveaux

Re: Crawler sur N niveaux

Re: Crawler sur N niveaux

Re: Crawler sur N niveaux

Re: Crawler sur N niveaux

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne