Robots.txt du site webrankinfo
6 messages
• Page 1 sur 1
-

Ohax - WRInaute accro

- Messages: 6406
- Inscription: 5 Juil 2004
Robots.txt du site webrankinfo
par curiosité j'ai regardé le robots.txt de webrankinfo:
http://www.webrankinfo.com/robots.txt
et je reste étonné sur le fait qu'il y ait 2 espaces qui séparent "User-agent:" et "*"
même le robots.txt de google ne met pas d'espace:
http://www.google.fr/robots.txt
de même après pour voir un espace après certaines lignes
je croiait que cela était déconseillé
donc je voudrai juste savoir s'il s'agit d'une erreur ou si cela n'a vraiment aucune importance
merci à vous car je patoge un peu là
http://www.webrankinfo.com/robots.txt
- Code: Tout sélectionner
User-agent: *
Disallow: /forums/login.php
Disallow: /forums/modcp.php
Disallow: /forums/posting.php
Disallow: /forums/printview.php
Disallow: /forums/privmsg.php
Disallow: /forums/search.php
Disallow: /forums/viewonline.php
User-agent: TurnitinBot
Disallow: /
User-agent: QuepasaCreep
Disallow: /
et je reste étonné sur le fait qu'il y ait 2 espaces qui séparent "User-agent:" et "*"
même le robots.txt de google ne met pas d'espace:
http://www.google.fr/robots.txt
de même après pour voir un espace après certaines lignes
je croiait que cela était déconseillé
donc je voudrai juste savoir s'il s'agit d'une erreur ou si cela n'a vraiment aucune importance
merci à vous car je patoge un peu là
-

WebRankInfo - Administrateur du site

- Messages: 18963
- Inscription: 19 Avr 2002
je l'ai vérifié ici par exemple et il ne trouve pas d'erreur : http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
-

achtungbaby - WRInaute accro

- Messages: 4066
- Inscription: 14 Juin 2004
Il sert à quoi le fichier robot.txt ?
- tuisp
- WRInaute passionné

- Messages: 2076
- Inscription: 27 Juin 2003
http://www.dicodunet.com/definitions/mo ... ts-txt.htm Désolé si ce n'était pas la question...
6 messages
• Page 1 sur 1
Lectures recommandées sur ce thème :
- Sortie de GoogleStats v2.01 - 02-03-2003
- Les crawlers de Yahoo! - 18-03-2004
- Les robots MSNbot de Live Search - 30-11-2006
- Déclarer son fichier sitemap dans le fichier robots.txt - 16-04-2007
- Petit changement pour Slurp (le robot de Yahoo) - 29-03-2007
- La balise meta NOYDIR de Yahoo - 05-03-2007
- Robots.txt : Yahoo supporte les options avancées - 04-11-2006
- Comment gérer simplement les sitemaps de plusieurs sites au même endroit - 28-02-2008
Consultez la description détaillée des produits ou services de Google suivants : Google Audio Ads
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités
