robots.txt et pourtant google indexe mes données

Règles du forum
Attention ce forum est destiné avant tout à ceux qui découvrent le référencement. Les membres qui auront l'amabilité de répondre à leurs questions sont priés de rester courtois, polis, indulgents, patients et pédagogues... Merci d'avance !

Par ailleurs, inutile d'utiliser ce forum uniquement pour obtenir des liens vers vos sites, les liens sont désactivés pour le référencement (nofollow).

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics

bigs32
WRInaute impliqué
WRInaute impliqué
 
Messages: 517
Inscription: 8 Mai 2006

robots.txt et pourtant google indexe mes données

Message le Lun Sep 13, 2010 11:37

j'ai un site test mais je ne veux pas que les moteurs de recherche indexe les contenu.
J'ai donc créer 2 fichiers robots.txt et robot.txt que j'ai mis à la racine avec comme contenu
User-agent: *
<meta name="robots" content="noindex, nofollow">

mais rien à faire google indexe mes contenus .Est ce normal cà?

merci pour votre aide


spout
WRInaute accro
WRInaute accro
 
Messages: 4382
Inscription: 14 Mai 2003

Re: robots.txt et pourtant google indexe mes données

Message le Lun Sep 13, 2010 11:44

Tu mélanges robots.txt et meta robots là.
Le seul valable c'est robots.txt avec un s
http://www.webrankinfo.com/outils/robots/

Le mieux pour que Google n'indexe pas un site en construction, c'est la protection par htaccess/htpasswd.
Dernière édition par spout le Lun Sep 13, 2010 11:48, édité 1 fois.


Madrileño
Madrileño
Madrileño
 
Messages: 28414
Inscription: 7 Juil 2004

Re: robots.txt et pourtant google indexe mes données

Message le Lun Sep 13, 2010 11:47

Google de temps en temps indexe quand même les pages des sites même avec un fichier robots.
Exemple : http://forum.webrankinfo.com/mes-pages-rubriques-reindexent-pas-t13340 ... l#p1219349 .

Merci à vous pour votre participation sur le forum en répondant aussi à d'autres topics ou remerciant les membres (lien).
C'est ce qui motive les membres et permet d'avoir un forum qui permet de faire évoluer les sites tous les jours.


Madrileño
Madrileño
Madrileño
 
Messages: 28414
Inscription: 7 Juil 2004

Re: robots.txt et pourtant google indexe mes données

Message le Lun Sep 13, 2010 11:48

bigs32 a écrit:User-agent: *
<meta name="robots" content="noindex, nofollow">

Le fichier ne sera pas utile puisqu'il est erroné comme le précise Spout :
spout a écrit:Tu mélanges robots.txt et meta robots là.
Le seul valable c'est robots.txt avec un s
http://www.webrankinfo.com/outils/robots/

.

bigs32
WRInaute impliqué
WRInaute impliqué
 
Messages: 517
Inscription: 8 Mai 2006

Re: robots.txt et pourtant google indexe mes données

Message le Lun Sep 13, 2010 11:59

spout a écrit:Tu mélanges robots.txt et meta robots là.
Le seul valable c'est robots.txt avec un s
http://www.webrankinfo.com/outils/robots/

Le mieux pour que Google n'indexe pas un site en construction, c'est la protection par htaccess/htpasswd.

merci
j'ai fait çà maitenant
robots.txt avec
User-agent: *
Disallow: /

que dois je mettre en plus sur htaccess ?


Madrileño
Madrileño
Madrileño
 
Messages: 28414
Inscription: 7 Juil 2004

Re: robots.txt et pourtant google indexe mes données

Message le Lun Sep 13, 2010 12:01

Pour les fichiers .htaccess il y a le forum ; URL Rewriting et .htaccess :
http://forum.webrankinfo.com/url-rewriting.html .


anemone-clown
WRInaute passionné
WRInaute passionné
 
Messages: 1277
Inscription: 11 Nov 2007

Re: robots.txt et pourtant google indexe mes données

Message le Lun Sep 13, 2010 16:15

Et puis, il ne faut pas confondre noindex avec noarchive... Une directive noindex sans être complétée par un noarchive, c'est comme p... dans un certain instrument en bois. :mrgreen:

La seule véritable protection : htaccess/htpswd


spout
WRInaute accro
WRInaute accro
 
Messages: 4382
Inscription: 14 Mai 2003

Re: robots.txt et pourtant google indexe mes données

Message le Lun Sep 13, 2010 16:41

.htaccess Password Generator: http://tools.dynamicdrive.com/password/

bigs32
WRInaute impliqué
WRInaute impliqué
 
Messages: 517
Inscription: 8 Mai 2006

Re: robots.txt et pourtant google indexe mes données

Message le Lun Sep 13, 2010 22:55

Apres lecture ,Je pensais mettre dans .htaccess çà
Order Deny,Allow
deny from all
allow from mon_adresse_IP

qu'en pensez vous


Madrileño
Madrileño
Madrileño
 
Messages: 28414
Inscription: 7 Juil 2004

Re: robots.txt et pourtant google indexe mes données

Message le Mar Sep 14, 2010 7:36

Si vous avez une IP dynamique cela ne va pas aider.


anemone-clown
WRInaute passionné
WRInaute passionné
 
Messages: 1277
Inscription: 11 Nov 2007

Re: robots.txt et pourtant google indexe mes données

Message le Mar Sep 14, 2010 7:55

Les protections par robots ou noindex, etc, ne restent valables que dans l'hypothèse où le robot est 'safe' et respecte ces directives. Hormis les quelques 'grands', beaucoup ne lisent même pas le robots.txt ou ne tiennent pas compte des nofollow par exemple.

edit: une lettre incongrue changeait la nature d'une phrase...
Dernière édition par anemone-clown le Mar Sep 14, 2010 8:31, édité 1 fois.


Madrileño
Madrileño
Madrileño
 
Messages: 28414
Inscription: 7 Juil 2004

Re: robots.txt et pourtant google indexe mes données

Message le Mar Sep 14, 2010 7:58

Même les moteurs principaux.


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité