fichier robots.txt optimal

[zen la tortue]

Bonjour,
j'ai plusieurs questions sur le fichier robots.txt.

Quelles différences entre :

Disallow: /wp-admin et Disallow: /wp-admin/

Ensuite, sur mon ftp j'ai un dossier images avec des sous dossiers images/mots1/ images/mot2/ etc
Est ce que le fait d'ajouter

Code: Tout sélectionner

User-agent: googlebot-image
Allow: /images/

suffit ?

Quel intérêt d'ajouter "Googlebot-Mobile" dans le fichier robots.txt

sinon j'ai regardé le robots.txt de webrankinfo
impressionnant le nombre de robots autorisés a crawler , est ce utile ? Je pense que oui si WRI le fait ....

http://www.webrankinfo.com/robots.txt


merci pour vos réponses

[Ottis]

sinon j'ai regardé le robots.txt de webrankinfo
impressionnant le nombre de robots autorisés a crawler , est ce utile ? Je pense que oui si WRI le fait ....

http://www.webrankinfo.com/robots.txt


merci pour vos réponses

Bonjour, au contraire, ces robots ne sont pas autorisés à crawler le site...

[zen la tortue]

sinon j'ai regardé le robots.txt de webrankinfo
impressionnant le nombre de robots autorisés a crawler , est ce utile ? Je pense que oui si WRI le fait ....

http://www.webrankinfo.com/robots.txt


merci pour vos réponses

Bonjour, au contraire, ces robots ne sont pas autorisés à crawler le site...

pufffff exact , je n'avais pas vu le Disallow: /



sinon je continue , pour le mes deux questions :
Quelles différences entre :

Disallow: /wp-admin et Disallow: /wp-admin/

Ensuite, sur mon ftp j'ai un dossier images avec des sous dossiers images/mots1/ images/mot2/ etc
Est ce que le fait d'ajouter

Code: Tout sélectionner
User-agent: googlebot-image
Allow: /images/
suffit ?
merci

[ABrisset]

La différence entre Disallow: /wp-admin et Disallow: /wp-admin/, c'est que pour la première directive tu bloques l'accès aux robots à tout ce qui commence par /wp-admin, alors que pour la deuxième tu bloques le répertoire nommé wp-admin et tout ce qu'il contient.

Concernant ta deuxième question, si ton but est d'autoriser Google Bot à crawler et indexer tes images, oui ça suffit. Mais en théorie, tu n'es pas même pas obligé de l'indiquer dans ton fichier, Google s'en charge tout seul

[zen la tortue]

La différence entre Disallow: /wp-admin et Disallow: /wp-admin/, c'est que pour la première directive tu bloques l'accès aux robots à tout ce qui commence par /wp-admin, alors que pour la deuxième tu bloques le répertoire nommé wp-admin et tout ce qu'il contient.

Concernant ta deuxième question, si ton but est d'autoriser Google Bot à crawler et indexer tes images, oui ça suffit. Mais en théorie, tu n'es pas même pas obligé de l'indiquer dans ton fichier, Google s'en charge tout seul

merci beaucoup pour tes réponses
en fait je vais mettre Disallow: /wp-admin/