Google indexe robots.txt

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics


lunicrea
WRInaute impliqué
WRInaute impliqué
 
Messages: 516
Inscription: 30 Aoû 2010

Re: Google indexe robots.txt

Message le Sam Nov 26, 2011 12:47

Samantha66 a écrit:Un grand merci (en retard) à tous pour vos réponses !

De rien ;)

D'ailleurs ça m'a permis de vérifier mon code et effectivement mon robots.txt a bel et bien disparu des SERPs comme convenu ! 8)


zeb
WRInaute accro
WRInaute accro
 
Messages: 4559
Inscription: 5 Déc 2004

Re: Google indexe robots.txt

Message le Sam Nov 26, 2011 13:58

WebRankInfo a écrit:ça veut dire qu'il faut gérer le fichier robots.txt par un script serveur qui rajoute l'entête HTTP ? et donc faire de la réécriture d'URL du fichier robots.txt ?

Pas forcement de la réécriture mais le faire interpréter par php.

AddType x-mapp-php5 .txt

ce qui permet au passage de le compresser de lui donner une limite de validité avec le cache etc ... et effectivement de cloaker pour éviter (par exemple) que qui que ce soit a part les moteurs puisse "deviner" la structure du site.


WebRankInfo
Administrateur du site
Administrateur du site
 
Messages: 19415
Inscription: 19 Avr 2002

Re: Google indexe robots.txt

Message le Lun Nov 28, 2011 10:41

En effet c'est une autre façon, mais ça fait interpréter tous les .txt par PHP, pas seulement le robots.txt

Google indexe robots.txt

Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité