Moteur qui ne tient pas compte du fichier Robots.txt

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics

throrgrulf
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 4
Enregistré le: 15 Jan 2015

Moteur qui ne tient pas compte du fichier Robots.txt

Message le Jeu Jan 15, 2015 10:30

Bonjour à tous,

Ma question est dans le titre ! :)

En fait j'ai cherché sur le forum et il me semble avoir trouvé de vieux post qui parlent de moteurs de recherche (par exemple Pompos) qui ne prennent pas en compte le fichier robots.txt. Mais ces moteurs n'existent plus ou sont rentrés dans le rang :lol:

En connaissez-vous?

Je vous remercie d'avance pour votre aide.

Annonces Google


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 3264
Enregistré le: 3 Mai 2004

Re: Moteur qui ne tient pas compte du fichier Robots.txt

Message le Jeu Jan 15, 2015 14:57

Bonjour throrgrulf,

Pompos prétendait respecter robots.txt, mais il ne le faisait pas toujours. Je dirais que c'était dû à des "bugs".

Quel est le but de ta recherche ? Ce sera plus facile de donner une réponse utile en connaissant le contexte de ta demande.

Jean-Luc

ybet
WRInaute accro
WRInaute accro
 
Messages: 9031
Enregistré le: 22 Nov 2003

Re: Moteur qui ne tient pas compte du fichier Robots.txt

Message le Jeu Jan 15, 2015 18:38

throrgrulf a écrit:... de moteurs de recherche qui ne prennent pas en compte le fichier robots.txt.


Un moteur qui ne respecte pas le robot.txt, ca s'appelle un robot pas catholique. Ca peux être un piqueur de contenu, un robot qui teste des failles de sécurité, toutes les séries de BROL actuels qui vérifient la e-réputation, les liens entre sites, ....
-> Adresses IP à banir

throrgrulf
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 4
Enregistré le: 15 Jan 2015

Re: Moteur qui ne tient pas compte du fichier Robots.txt

Message le Ven Jan 16, 2015 15:05

Bonjour à tous les deux,

Premièrement, merci pour vos réponses.

En fait, les "conditions générales de ventes" et les page "partenaires" ou "crédit" ne sont pas toujours référencées et je suppose donc que les éditeurs des sites bloquent ces pages dans le fichier robots.txt.

Le but de la manœuvre est que j'ai un ancien associé avec qui je ne travaille plus, et j'aimerai savoir s'il a récupérer des clients, ce qu'il n'a légalement et contractuellement pas le droit de faire. Hélas, j'ai des doutes sur sont honnêteté, et je voudrais vérifier dans les CGV ou autres pages généralement non-référencé, si son nom (commercial) apparaît.

Le but de la manœuvre est aussi de ne pas chercher au compte goutte car nous avons travaillé avec énormément de clients pour des petites missions, et qu'il m'est impossible de me rappeler de tous... Donc 'j aurais espérer trouver un moteur de recherche avec lequel je pourrais chercher sur la totalité d'un site.

Voila, j'espère que ça vous aidera a comprendre mon problème, et peut être m'apporter un autre solution à laquelle je n'aurais pas penser.

Merci d'avance de votre aide,

T


spout
WRInaute accro
WRInaute accro
 
Messages: 8209
Enregistré le: 14 Mai 2003

Re: Moteur qui ne tient pas compte du fichier Robots.txt

Message le Ven Jan 16, 2015 17:49

Si t'as la liste de tous les sites des clients, scrape les :D

throrgrulf
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 4
Enregistré le: 15 Jan 2015

Re: Moteur qui ne tient pas compte du fichier Robots.txt

Message le Ven Jan 16, 2015 17:53

Bonjour Spout,

Comme expliqué, il m'est impossible de me rappeler de tous les clients. Et le but est de pouvoir (dans la mesure du possible) faire la recherche dans le temps.

Quelqu'un aurait une autre solution?

Merci d'avance,


spout
WRInaute accro
WRInaute accro
 
Messages: 8209
Enregistré le: 14 Mai 2003

Re: Moteur qui ne tient pas compte du fichier Robots.txt

Message le Ven Jan 16, 2015 17:54

Je n'ai pas parlé de les appeler, mais de scraper leurs sites.

throrgrulf
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 4
Enregistré le: 15 Jan 2015

Re: Moteur qui ne tient pas compte du fichier Robots.txt

Message le Ven Jan 16, 2015 18:00

Je n'ai pas non plus parler de les appeler :D
Je ne me souviens juste pas de l'ensemble des clients avec qui nous avons travaillé.


spout
WRInaute accro
WRInaute accro
 
Messages: 8209
Enregistré le: 14 Mai 2003

Re: Moteur qui ne tient pas compte du fichier Robots.txt

Message le Ven Jan 16, 2015 18:01

oops OK :)


Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :