Problème robot référencement

Nouveau WRInaute
Bonjour à tous,



Voilà j'ai un site assez important (avec + de 4.000 pages) qui est visité par de nombreux internautes mais très mal référencé...



J'avais mis un fichier "robots" à la racine du site avec la commande 'Disallow:/'  mais j'ai l'impression qu'aujourd'hui ça empêche beaucoup trop le référencement du site !


Avec tous les progrès de l'informatique et l'avancée du Web, je me disais : 

- aujourd'hui il doit bien exister une instruction qui n'autorise que certains moteurs de recherche et qui bloque donc automatiquement tous les autres...



Ça doit bien exister ???



Merci de vos commentaires    ;o)



Bonne journée
 
WRInaute accro
Non il faut être explicite dans la liste de ceux à disallow.

En quoi ça pose problème? Les robots qui font ch*ier ils respectent qd même pas ce robots.txt.
 
WRInaute accro
Webtender a dit:
mais très mal référencé...



J'avais mis un fichier "robots" à la racine du site avec la commande 'Disallow:/'  mais j'ai l'impression qu'aujourd'hui ça empêche beaucoup trop le référencement du site !

Tu empêches tous les moteurs, Google inclus, de crawler le site, pas étonnant que le SEO s'en ressente. Et comme le dit spout, tu peux oublier le robots.txt pour les moteurs et crawler sauvages, qui de toutes façons ne le respectent pas.

Après, tu as quand même la solution, pour ceux qui respectent le robots.txt de faire :

User-agent: Google
Disallow:

User-agent: *
Disallow: /

En doublant le premier bloc pour chaque moteur que tu veux autoriser. Mais comme dit plus haut, tous ne respectent pas le fichier.
 
Discussions similaires
Haut