Mon fichier robots.txt laisse-t-il passer ia_archiver ?

[ortolojf]

Bonsoir

Il semble, que le robot ia_archiver scanne encore les sites, donc le site archive.org devrait encore archiver des sites.

La dernière visite de ce bot ia_archiver , date du 9 Novembre 2009, il a aspiré mon fichier robots.txt

Voici ce que ce fichier robots.txt contenait ( et contient encore ), merci de me dire s'il accorde à ce site archiver.org , la possibilité d'archiver mon site ( c'est ce que je souhaite ).

User-agent: *
Disallow: /images/
Disallow: /music/
Disallow: /php/xrvftsvryf/
Disallow: /php/xrvftsvryf/pxvrfzvrt/
Disallow: /php/courses_nouvelles/manual/

Merci beaucoup de vos réponses.

Amicalement.

Jean-François Ortolo

[jeanluc]

Ce robots.txt bloque l'accès de tous les robots aux quelques répertoires indiqués. Tous les autres répertoires sont accessibles à ia_archiver, Google et compagnie.

Entre parenthèses, quand un répertoire est bloqué, ses sous-répertoires sont automatiquement bloqués également. Comme tu as

Code: Tout sélectionner

Disallow: /php/xrvftsvryf/

il n'est pas utile d'ajouter

Code: Tout sélectionner

Disallow: /php/xrvftsvryf/pxvrfzvrt/

Jean-Luc

[HawkEye]

(et soit dit en passant, il ne faut pas interpréter ce que dit Matt Cutts au premier degré )

[ortolojf]

Ce robots.txt bloque l'accès de tous les robots aux quelques répertoires indiqués. Tous les autres répertoires sont accessibles à ia_archiver, Google et compagnie.

Entre parenthèses, quand un répertoire est bloqué, ses sous-répertoires sont automatiquement bloqués également. Comme tu as

Code: Tout sélectionner

Disallow: /php/xrvftsvryf/

il n'est pas utile d'ajouter

Code: Tout sélectionner

Disallow: /php/xrvftsvryf/pxvrfzvrt/

Jean-Luc

Bonjour Jean-Luc

Merci beaucoup de ta réponse.

C'est bien ce que je pensais, mais ça n'explique pas pourquoi mon site en ligne ( sous ce ndd ) depuis Septembre 2008, n'est toujours pas archivé. ;(

Merci beaucoup pour l'info sur le sous-répertoire, je vais le supprimer tout de suite.

Bien à toi.

Amicalement.

Jean-François Ortolo

[ortolojf]

(et soit dit en passant, il ne faut pas interpréter ce que dit Matt Cutts au premier degré )

Bonjour HawkEye

Merci beaucoup pour ton annuaire.

Tu fais allusion au fait que Matt Cutts déconseille l'utilisation du fichier robots.txt pour interdire l'accès à des urls pour des moteurs ?

J'ai lu hier soir la traduction de l'interview de Joachim ( je crois que c'est le bon prénom, j'ai oublié le nom ) du service des indexations de Google, disant celà aussi, mais je ne savais pas que Matt Cutts disait la même chose.

Je sais aussi, que dans cette interview la commentatrice donnait un bémol par rapport à celà.

En tout cas, je vais enlever le sous-répertoire indiqué par Jean-Luc.

Merci beaucoup de ta réponse.

Bien à vous.

Amicalement.

Jean-François Ortolo

[HawkEye]

Bonjour Jean-François,

Je pensais que ta démarche était la conséquence de ceci: http://www.webrankinfo.com/actualites/200911-matt-cutts-spam.htm

[ortolojf]

Bonjour Jean-François,

Je pensais que ta démarche était la conséquence de ceci: http://www.webrankinfo.com/actualites/200911-matt-cutts-spam.htm

Bonjour HawkEye

Effectivement, c'est après avoir lu cet article de Wri, que j'ai voulu vérifier si mon fichier robots.txt ne filtrait pas ia_archiver

Ce fut un déclic, mais je pensais depuis longtemps que je ne filtrais aucun moteur, à part pour les sous-répertoires dans le fichier robots.txt , mais j'étais surtout étonné de ne pas être archivé, surtout après avoir reçu le 9 Novembre 2009, la visite de ia_archiver ( Alexa ), qui m'a aspiré ce fichier.

En fait, peut-être entre-temps, j'ai cliqué sur un lien demandant à archive.org de me visiter. Mais je ne me rappelle plus si ç'était avant ou après le 9 Novembre... Probablement après.

J'ai donc fait une grosse boulette en cliquant sur ce lien, ce qui a remis à zéro les conclusions de archive.org : Il sera obligé de revoir ce fichier robots.txt, dans quelques semaines, avant de parcourir mon site.

Et puis... En fait j'ai des indications contradictoires sur le fait de savoir si ce site archive.org , est encore actif ou non.

D'un côté, sur leur site il y a des indications sur des upgrade de leur système hardware et autres procédures, avec des liens corrects, de l'autre côté sur Wri, j'ai vu des commentaires comme quoi archive.org n'était plus actif.

Mon site sous ce ndd, est valide depuis Septembre 2008, il n'a jamais été archivé par le site.

Il est vrai, que mon site est encore accessible par son ancien ndd, qui lui est archivé, je vais d'ailleurs voir jusqu'à quand...

Je croyais que archive.org comprenait les redirections 301 comme le fait Google, mais c'est fort possible que ce ne soit pas le cas.

Merci beaucoup de ta réponse.

Bien à toi.

Amicalement.

Jean-François Ortolo