indexation du robots.txt!!! bizzare
11 messages • Page 1 sur 1
Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics
indexation du robots.txt!!! bizzare
Bonsoir à tous,
je viens de remarquer un truc bizzare. Parmi les pages indexés que je trouve avec la commande site, se trouve mon robots.txt!!!
c'est complétement débiles de l'afficher parmi les résultats!!!
ça vous est déjà arrivé??
je viens de remarquer un truc bizzare. Parmi les pages indexés que je trouve avec la commande site, se trouve mon robots.txt!!!
c'est complétement débiles de l'afficher parmi les résultats!!!
ça vous est déjà arrivé??
-

~hcplayer~{feh}~ - WRInaute occasionnel

- Messages: 158
- Inscription: Sam Fév 21, 2004 19:25
le mien aussi, ça fait 1 mois 
Machin a écrit:jeromax a écrit:z'avez vu celui là ????
-http://www.whitehouse.gov/robots.txt
Pot de miel pour pirates du dimanche. Il vaut mieux ne pas aller promener son IP dans ce genre de répertoires.
tu veut dire quoi par là ?
vin-moi a écrit:Machin a écrit:jeromax a écrit:z'avez vu celui là ????
-http://www.whitehouse.gov/robots.txt
Pot de miel pour pirates du dimanche. Il vaut mieux ne pas aller promener son IP dans ce genre de répertoires.
tu veut dire quoi par là ?j'ai cliqué
qu'il doive reperer et garder les ip ..
- Blaze_Heatnix
- WRInaute impliqué

- Messages: 322
- Inscription: Mer Déc 31, 2003 18:21
vin-moi a écrit:Machin a écrit:tu veut dire quoi par là ?j'ai cliqué
qu'il doive reperer et garder les ip ..
Oups...
Enfin bon, c'est pas si dramatique que cela... Je vois mal débarquer des agents du fbi , chez toutes les personnes qui auront eu le "malheur" de cliquer sur leur fichier robots.txt ...

11 messages • Page 1 sur 1
Formation recommandée sur ce thème :
Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Sortie de GoogleStats v2.01
- Les crawlers de Yahoo!
- Googlebot, le robot d'indexation de Google
- Outil officiel de suppression de pages de l'index Google
- Les robots MSNbot de Live Search
- Etude de Googlebot, le robot crawler de Google (Fresh Bot, Deep Bot)
- Déclarer son fichier sitemap dans le fichier robots.txt
- Petit changement pour Slurp (le robot de Yahoo)
- Tout pour indexer vos contenus dans Google
- Robots.txt : Yahoo supporte les options avancées
- Tester l'indexation récente d'un site dans Google
Cet outil vous permet de connaître une estimation de l'ancienneté d'un site : il fournit la date à laquelle Google l'a indexé la première fois (et la même chose pour archive.org). - Trouver les sous-domaines
Cet outil vous permet de trouver la liste des sous-domaines (indexés) d'un site.
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités






le forum