interdire wget sauf depuis un domaine particulier
7 messages
• Page 1 sur 1
Consultez la formation URL Rewriting et sites dynamiques de WebRankInfo / Ranking Metrics
-

tofm2 - WRInaute passionné

- Messages: 2202
- Inscription: 9 Avr 2005
interdire wget sauf depuis un domaine particulier
Bonjour
Je protège mon site (www.site1.com) des aspirateurs wget et autres badbots (longue liste) par
....
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
...
RewriteRule ^.* - [F,L]
Pour effectuer une opération de maintenance sur ce domaine (www.site1.com) , j'apelle depuis un autre domaine (www.site2.com) un script, mettons /maintenance/maintenance.php qui est automatisé dans une crontask toutes les 1/2 heures.
Le problème c'est que le site appelant le fait par wget (sur www.site2.com -> wget -Q http://www.site1.com/maintenance/maintenance.php) , et ne peut pas le faire par autre chose (pas équipé de lynx, ni de fetch). le domaine www.site1.com ne donne pas non plus accès aux crontasks (pas possible d'accéder à maintenance.php par php CLI)
l'accès par wget est donc obligatoire depuis www.site2.com
Comment peut on arranger ça dans le .htaccess ?
Merci de votre aide.
Je protège mon site (www.site1.com) des aspirateurs wget et autres badbots (longue liste) par
....
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
...
RewriteRule ^.* - [F,L]
Pour effectuer une opération de maintenance sur ce domaine (www.site1.com) , j'apelle depuis un autre domaine (www.site2.com) un script, mettons /maintenance/maintenance.php qui est automatisé dans une crontask toutes les 1/2 heures.
Le problème c'est que le site appelant le fait par wget (sur www.site2.com -> wget -Q http://www.site1.com/maintenance/maintenance.php) , et ne peut pas le faire par autre chose (pas équipé de lynx, ni de fetch). le domaine www.site1.com ne donne pas non plus accès aux crontasks (pas possible d'accéder à maintenance.php par php CLI)
l'accès par wget est donc obligatoire depuis www.site2.com
Comment peut on arranger ça dans le .htaccess ?
Merci de votre aide.
- Philings
- Nouveau WRInaute

- Messages: 32
- Inscription: 9 Juin 2010
Re: interdire wget sauf depuis un domaine particulier
Julia41 a écrit:Sur ton site 2 tu fais :
wget --user-agent=je_masque_mon_user_agent URL
Ainsi tu peux même en profiter pour protéger ta page php par :
si user_agent = mon truc
ok
Je pense qu'il y a certains logiciels de sécurité (et peut etre plugin) qui bloquent le referer ou du moins, font de manière à ce qu'il ne soit pas transmis par le browser.
Ca risque de faire perdre une partie du trafic à mon avis, il faut voir maintenant le pourcentage.
Philippe
-

Leonick - WRInaute accro

- Messages: 19595
- Inscription: 8 Aoû 2004
Re: interdire wget sauf depuis un domaine particulier
heu, là on parle de wget. Un internaute ne navigue pas sur un site à l'aide de wget, il récupère juste le contenu (souvent pour créer son propre contenu avecPhilings a écrit:Je pense qu'il y a certains logiciels de sécurité (et peut etre plugin) qui bloquent le referer ou du moins, font de manière à ce qu'il ne soit pas transmis par le browser.
Ca risque de faire perdre une partie du trafic à mon avis, il faut voir maintenant le pourcentage.
7 messages
• Page 1 sur 1
Formation recommandée sur ce thème :
Formation URL Rewriting et sites dynamiques : apprenez comment mettre en place la réécriture d'URL, comment optimiser vos URL et profiter de vos pages dynamiques pour booster votre référencement. Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Interdire le referencement d'un dossier particulier
- choisir un nom de domaine: cas particulier
- Procédure pour racheter nom de domaine a un particulier
- Revente d'un nom de domaine pour un particulier
- transfert de domaine. cas d'école un peu particulier.
- nom de domaine en .fr sur onlinet pour particulier ...
- Achat nom de domaine à un particulier qui le vend
- Mette une publicité dédiée vers un domaine particulier
- Wget
- wget et at
- Les sous-domaines d'un site
Cet outil vous permet de trouver la liste des sous-domaines (indexés) d'un site.
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités

