Robots.txt Disallow:repertoire mais pas une URL

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics


PFA34
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 17
Inscription: 10 Oct 2009

Robots.txt Disallow:repertoire mais pas une URL

Message le Sam Oct 30, 2010 4:51

Bonjour,

Je m'explique : je souhaite interdire l'accès à un répertoire entier de mon site /repertoire

Je l'ai mis dans le fichier robots.txt :
Disallow: /repertoire/

Mais dans ce répertoire je souhaite tout de même indexer certaines URL, exemple :
/repertoire/monurl1.html
/repertoire/monurl2.html
/repertoire/monurl3.html...


Si je mets ces URL dans mon fichier sitemap.xml seront-elles indéxées par tous les moteurs de recherche ?

Code: Tout sélectionner
<url>
        <loc>/repertoire/monurl1.html</loc>
        <lastmod>2010-10-30</lastmod>
        <changefreq>always</changefreq>
        <priority>1.0</priority>
    </url>

    <url>
        <loc>/repertoire/monurl2.html</loc>
        <lastmod>2010-10-30</lastmod>
        <changefreq>always</changefreq>
        <priority>1.0</priority>
    </url>

...

:?:


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 3062
Inscription: 3 Mai 2004

Re: Robots.txt Disallow:repertoire mais pas une URL

Message le Sam Oct 30, 2010 9:34

Bonjour,

Le sitemap ne change pas l'effet du robots.txt.

Pour faire ce que tu veux, tu ne peux pas utiliser
Code: Tout sélectionner
Disallow: /repertoire/

Il est obligatoire de faire
Code: Tout sélectionner
Disallow: /repertoire/monurl4.html
Disallow: /repertoire/monurl5.html
Disallow: /repertoire/monurl6.html
Disallow: /repertoire/monurl7.html

(mettre toutes les URL du répertoire sauf les numéros 1, 2 et 3 qui sont autorisés.

Si les URL interdites commencent toutes par /repertoire/abcd et que les URL autorisées ne commencent pas par /repertoire/abcd, tu peux aussi mettre
Code: Tout sélectionner
DIsallow: /repertoire/abcd


Jean-Luc


PFA34
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 17
Inscription: 10 Oct 2009

Re: Robots.txt Disallow:repertoire mais pas une URL

Message le Lun Nov 01, 2010 14:31

Merci pour la réponse je vais faire comme ça alors !

Sinon ce serait pas possible de faire Disallow: /repertoire/ et Allow: /repertoire/monurlquejeuveuxgarder.html

?


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 3062
Inscription: 3 Mai 2004

Re: Robots.txt Disallow:repertoire mais pas une URL

Message le Lun Nov 01, 2010 21:34

Oui et non. La directive Allow n'est pas standard. Elle sera comprise par certains robots et ignorées par d'autres. Elle fonctionne avec Googlebot.

Jean-Luc


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :

Consultez la description détaillée des produits ou services de Google suivants : Google goo.gl

  • Liste des backlinks
    Cet outil vous permet d'analyser en détails la "popularité" de votre site sur Google. En plus du nombre de liens pris en compte par Google, il calcule le pourcentage de liens internes parmi tous les liens, et il affiche les premières URL trouvées.
  • Transformer des textes non cliquables en liens
    Cet outil vous permet de trouver des pages citant votre site mais ne faisant pas (encore) de lien. Il suffira parfois d'un simple mail pour transformer cette simple citation en lien (backlink).


Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités