limiter le listing (indexes) à certains spiders
2 messages
• Page 1 sur 1
Consultez la formation URL Rewriting et sites dynamiques de WebRankInfo / Ranking Metrics
- rip_pit
- Nouveau WRInaute

- Messages: 7
- Inscription: 1 Fév 2007
limiter le listing (indexes) à certains spiders
Bonjour à tous, je fais un appel aux spécialiste (ou non) de htaccess :
Après un paquet de tests dans tous les sens, je bloque sur les directives à utiliser dans mon fichier .htaccess, voilà ce que je cherche à faire :
Avoir -Indexes par défaut pour tout le site,
et en même temps,
avoir +Indexes pour un seul spider (PhpDig qui en à besoin pour indexer les répertoires).
Refuser le listing des répertoires sans indexes, ça, je sais le faire, suffit de mettre -Indexes dans un .htaccess à la racine du site.
Mais autoriser l'inverse (+Indexes), en même temps, uniquement pour un seul moteur/spider : je séche !
J'ai essayé en utilisant les directives du genre
mais je ne m'en sort pas !
J'aimerai vraiment savoir si c'est possible, sinon est-ce que vous avez des suggestions ?
Après un paquet de tests dans tous les sens, je bloque sur les directives à utiliser dans mon fichier .htaccess, voilà ce que je cherche à faire :
Avoir -Indexes par défaut pour tout le site,
et en même temps,
avoir +Indexes pour un seul spider (PhpDig qui en à besoin pour indexer les répertoires).
Refuser le listing des répertoires sans indexes, ça, je sais le faire, suffit de mettre -Indexes dans un .htaccess à la racine du site.
Mais autoriser l'inverse (+Indexes), en même temps, uniquement pour un seul moteur/spider : je séche !
J'ai essayé en utilisant les directives du genre
- Code: Tout sélectionner
Options +Indexes
order deny,allow
deny from all
allow from phpdig
mais je ne m'en sort pas !
J'aimerai vraiment savoir si c'est possible, sinon est-ce que vous avez des suggestions ?
2 messages
• Page 1 sur 1
Formation recommandée sur ce thème :
Formation URL Rewriting et sites dynamiques : apprenez comment mettre en place la réécriture d'URL, comment optimiser vos URL et profiter de vos pages dynamiques pour booster votre référencement. Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Agents et Spiders
- noms des spiders
- Comprendre visite spiders dans awstats
- Liens formulaire non visités par les spiders
- flash et spiders: texte OK mais pas les liens
- Listing annuaires
- Listing de code ajax ?
- des Robots/Spiders fous qui génère un trafic monstre
- hebergement celeonet et infos lues par les spiders : big pb
- Risque de Black-Listing ?
- Lister les sous-domaines
Cet outil vous permet de trouver la liste des sous-domaines (indexés) d'un site.
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité
