limiter le listing (indexes) à certains spiders
2 messages • Page 1 sur 1
Consultez la formation URL Rewriting et sites dynamiques de WebRankInfo / Ranking Metrics
limiter le listing (indexes) à certains spiders
Bonjour à tous, je fais un appel aux spécialiste (ou non) de htaccess :
Après un paquet de tests dans tous les sens, je bloque sur les directives à utiliser dans mon fichier .htaccess, voilà ce que je cherche à faire :
Avoir -Indexes par défaut pour tout le site,
et en même temps,
avoir +Indexes pour un seul spider (PhpDig qui en à besoin pour indexer les répertoires).
Refuser le listing des répertoires sans indexes, ça, je sais le faire, suffit de mettre -Indexes dans un .htaccess à la racine du site.
Mais autoriser l'inverse (+Indexes), en même temps, uniquement pour un seul moteur/spider : je séche !
J'ai essayé en utilisant les directives du genre
mais je ne m'en sort pas !
J'aimerai vraiment savoir si c'est possible, sinon est-ce que vous avez des suggestions ?
Après un paquet de tests dans tous les sens, je bloque sur les directives à utiliser dans mon fichier .htaccess, voilà ce que je cherche à faire :
Avoir -Indexes par défaut pour tout le site,
et en même temps,
avoir +Indexes pour un seul spider (PhpDig qui en à besoin pour indexer les répertoires).
Refuser le listing des répertoires sans indexes, ça, je sais le faire, suffit de mettre -Indexes dans un .htaccess à la racine du site.
Mais autoriser l'inverse (+Indexes), en même temps, uniquement pour un seul moteur/spider : je séche !
J'ai essayé en utilisant les directives du genre
- Code: Tout sélectionner
Options +Indexes
order deny,allow
deny from all
allow from phpdig
mais je ne m'en sort pas !
J'aimerai vraiment savoir si c'est possible, sinon est-ce que vous avez des suggestions ?
2 messages • Page 1 sur 1
Formation recommandée sur ce thème :
Formation URL Rewriting et sites dynamiques : apprenez comment mettre en place la réécriture d'URL, comment optimiser vos URL et profiter de vos pages dynamiques pour booster votre référencement. Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Google passe le cap des 3 milliards de pages
- Lancement de Spider Simulator
- Nouvelle version de Yahoo Site Explorer (août 2008)
- Google enrichit sa recherche de news
- Conseils de Google pour exploiter au mieux son site web
- Yahoo Slurp et autres robots d'indexation de Yahoo
- Un brevet de Google pour de la publicité sur les téléphones mobiles
- Modification de vos sites dans l'annuaire
- Optimisation du référencement d'un site en AJAX
- Bien choisir le titre de chaque page : conseil n°4 en référencement
- Agents et Spiders
- noms des spiders
- Listing annuaires
- Comprendre visite spiders dans awstats
- Listing de code ajax ?
- Risque de Black-Listing ?
- Liens formulaire non visités par les spiders
- Ceation d'un listing
- flash et spiders: texte OK mais pas les liens
- des Robots/Spiders fous qui génère un trafic monstre
- hebergement celeonet et infos lues par les spiders : big pb
- Listing étrange dans le SERP
- pkoi les spiders ne voient pas mon site et ses metas
- Conseil sur page de listing de jeux
- Styles dans les listing <option>
- Lister les sous-domaines
Cet outil vous permet de trouver la liste des sous-domaines (indexés) d'un site.
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités

le forum