Parser une page web en utilisant php

[badboy lam]

Bonjour ,
Je veux parser une page web , en utilisant php , j'ai pas compris comment coder un parseur , qui peut m'aider ? SVP

[Leonick]

Bonjour ,
Je veux parser une page web , en utilisant php , j'ai pas compris comment coder un parseur , qui peut m'aider ? SVP

à partir de php4 http://php.net/manual/fr/ref.domxml.php

[badboy lam]

ces fonctions , sont des fonctions XML , ça peut marché ac du html ?

[-amethyste-]

Tu dois utiliser file_get_contents pour récupérer le code source de la page html. Ensuite tu devras t'amuser avec les regex

[anemone-clown]

Bonjour,

a priori, le niveau en programmation n'est pas au top Utilise effectivement les expressions régulières pour analyser ton texte mais si tu poses la question XML vs. HTML, c'est pas gagné... Il y a plein de sites qui donnent plein de conseils en programmation, une recherche devrait te donner des solutions à ton souci, mais là, ta question est trop peu précise : c'est un peu comme si tu demandais "qu'est-ce qu'il faut que je fasse pour faire à manger?" C'est trop vague.

Précise ton idée.

[rudddy]

il veut pomper la base de données de son concurrents qui a 150.000 pages indexées !!!

[toto2525]

Salut,

J'essaie de parser une page ayant une extension .aspx mais je n'y arrive pas ! Cette page est accessible via un login et mot de passe. J'ai déjà parsé d'autres page avec un bout de code php du style :

$url_a_parser = "http://mon_login:mon_mot_de_passe@www.le-site-a-parser.aspx?page_accessible_via_abonnement.aspx";
$url_fp = @file_get_contents($url_a_parser);
echo "$url_fp";

Sur la homepage du site à parser j'arrive à voir leur page lorsque je fais un echo "$url_fp" mais lorsque je me loggue sur une autre page de leur site (avec mon login + mon mot de passe) ça ne marche plus, lorsque je fais un echo "$url_fp" de cette page il ne s'affiche rien ! C'est comme s'ils avaient bloquer cette fonction de parser. Quelqu'un peut-il m'aider à y comprendre quelque chose je ne connais pas du tout l'asp comme language de programmation ?

D'avance merci pour votre aide.

[UsagiYojimbo]

Que ce soit de l'asp n'y change rien, c'est le HTML généré que tu parses, non le codes avant interprétation du serveur. Et amha, si tu te retrouves avec une page blanche, c'est qu'il y a fort à parier que le site en face n'apprécie pas des masses que tu récupères son contenu ainsi.

[toto2525]

Merci pour ta réponse.

Ca veux dire qu'ils ont mis quelque chose dans leur code qui empêche de parser, c'est ça ?

Si je post ici le code asp de leur page, penses-tu pouvoir trouver ce qui empêche de parser ?

[rudddy]

comment penses tu pouvoir avoir le code asp de leur page ? je pense que tu devrais sérieusement (re)voir les règles de bases client/serveur

[UsagiYojimbo]

Si ils ont mis en place un système qui bloque le parsage de leurs pages, c'est qu'ils ne veulent pas que tu parses leur page j'imagine. Sinon, le plus simple serait de leur demander, non ?

A mon avis c'est sans doute au niveau du serveur que le nécessaire est fait pour ne pas que tu puisses parser le contenu sécurisé.

[toto2525]

Ok je me suis mal exprimé, je pensais plutôt poster le code html de leur page en espérant pouvoir trouver dans leur code le hic qui bloque le parsage.

Sinon, le plus simple serait de leur demander, non ?

Je leur ai demandé à 3 reprises mais pas de réponse, ils font le mort

Le problème c'est que cette société qui propose cet abonnement est en situation de monopole mondial dans mon domaine d'activité et qu'ils ont sur leur site web des infos qu'ils n'exploitent pas (volontairement ou involontairement) mais que moi je trouve très pertinentes pour mes internautes (et futurs consommateurs), donc en gros : vous pouvez accéder à mon abonnement payant (je veux bien votre fric) mais je restreint l'accès à mon site afin que je puisse contrôler l'information qui en sortira, trouvez-vous cela très concurrentielle, très en adéquation avec le libre échange, c'est pas très cool, non ?

[rudddy]

tu vas pas te faire que des amis ici toi ...

[toto2525]

tu vas pas te faire que des amis ici toi ...

ben quoi, tu défends donc les positions de monopole, c'est ça ?

Je ne vais pas t'expliquer la raison exacte que j'ai à faire cela mais crois moi cette raison est bien fondée et justifiée !

Dans les positions de monopole total il y a toujours des abus, es-tu d'accord avec ça ?

[Leonick]

très en adéquation avec le libre échange

c'est pourtant du libre échange : tu échanges de l'argent contre du contenu, et tu es libre ou non de le faire