Messages: 1

Enregistré le: 30 Juin 2016

Message le Jeu Juin 30, 2016 9:02

Bonjour à tous,



Voilà j'ai un site assez important (avec + de 4.000 pages) qui est visité par de nombreux internautes mais très mal référencé...



J'avais mis un fichier "robots" à la racine du site avec la commande 'Disallow:/'  mais j'ai l'impression qu'aujourd'hui ça empêche beaucoup trop le référencement du site !


Avec tous les progrès de l'informatique et l'avancée du Web, je me disais : 

- aujourd'hui il doit bien exister une instruction qui n'autorise que certains moteurs de recherche et qui bloque donc automatiquement tous les autres...



Ça doit bien exister ???



Merci de vos commentaires    ;o)



Bonne journée
Haut
2 Réponses
Messages: 8552

Enregistré le: 14 Mai 2003

Message le Jeu Juin 30, 2016 9:05

Non il faut être explicite dans la liste de ceux à disallow.

En quoi ça pose problème? Les robots qui font ch*ier ils respectent qd même pas ce robots.txt.
Haut
Messages: 12286

Enregistré le: 23 Nov 2005

Message le Jeu Juin 30, 2016 9:25

Webtender a écrit:mais très mal référencé...



J'avais mis un fichier "robots" à la racine du site avec la commande 'Disallow:/'  mais j'ai l'impression qu'aujourd'hui ça empêche beaucoup trop le référencement du site !


Tu empêches tous les moteurs, Google inclus, de crawler le site, pas étonnant que le SEO s'en ressente. Et comme le dit spout, tu peux oublier le robots.txt pour les moteurs et crawler sauvages, qui de toutes façons ne le respectent pas.

Après, tu as quand même la solution, pour ceux qui respectent le robots.txt de faire :

User-agent: Google
Disallow:

User-agent: *
Disallow: /


En doublant le premier bloc pour chaque moteur que tu veux autoriser. Mais comme dit plus haut, tous ne respectent pas le fichier.
Haut