Interdire à google de visiter certains type d'url

Règles du forum
Attention ce forum est destiné avant tout à ceux qui découvrent le référencement. Les membres qui auront l'amabilité de répondre à leurs questions sont priés de rester courtois, polis, indulgents, patients et pédagogues... Merci d'avance !

Par ailleurs, inutile d'utiliser ce forum uniquement pour obtenir des liens vers vos sites, les liens sont désactivés pour le référencement (nofollow).

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics


Cam88
WRInaute impliqué
WRInaute impliqué
 
Messages: 547
Inscription: 4 Juin 2006

Interdire à google de visiter certains type d'url

Message le Ven Juin 18, 2010 21:13

Bonsoir,
En analysant les pages "Erreurs d'exploration" sur Google Webmaster, j'ai des centaines d'erreur du type :
http://www.monsitepointcom/download.php?xxxxxxxxxx

Un des services de ce site permet de télécharger des fichiers, juste en cliquant sur sur une image du type "Télécharger le fichier"

Ce n'est pas un site de warez, ou autre !

Comment faire pour dire aux moteurs de recherche de ne pas allez voir/indexer ce type d'url ?

Merci de votre aide :)
Bonne soirée

Edit :
Je viens de trouver :
http://forum.webrankinfo.com/interdire-referencement-type-page-t74194.html
dmathieu a écrit:Eh bien, si tu mets :
Code: Tout sélectionner
/jump.php

Dans ton robots.txt, le fichier ne sera pas indexé, variables comprises.


Donc dans mon cas, je n'ai juste à mettre dans le fichier robots.txt ?
Code: Tout sélectionner
/download.php

hyadex
WRInaute impliqué
WRInaute impliqué
 
Messages: 756
Inscription: 23 Jan 2005

Re: Interdire à google de visiter certains type d'url

Message le Ven Juin 18, 2010 21:26

Si toutes les pages à ne pas indexer sont du type download.php?... alors indique le dans ton robots.txt

Code: Tout sélectionner
User-Agent: *
Disallow: /download.php

Si la page download.php est la racine de ton site, sinon indique le dossier avant le /


Cam88
WRInaute impliqué
WRInaute impliqué
 
Messages: 547
Inscription: 4 Juin 2006

Re: Interdire à google de visiter certains type d'url

Message le Ven Juin 18, 2010 21:43

Merci :)

toto2525
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 349
Inscription: 20 Sep 2007

Re: Interdire à google de visiter certains type d'url

Message le Dim Juin 20, 2010 22:23

Est-ce qu'il ne faudrait pas mieux écrire ce code dans le fichier robots.txt :
Code: Tout sélectionner
User-Agent: *
Disallow: /download.php*


Si l'on met Disallow: /download.php est-ce que la page download.php?rub=22 sera bloquée ?

Disallow: /download.php* indique que toutes les page qui ont download.php dans leur url seront bloquées.

Fichier robots.txt expliqué par Google: http://www.google.com/support/webmasters/bin/answer.py?hl=fr&answer=156449


Cam88
WRInaute impliqué
WRInaute impliqué
 
Messages: 547
Inscription: 4 Juin 2006

Re: Interdire à google de visiter certains type d'url

Message le Dim Juin 20, 2010 22:30

@toto2525

Merci pour ta réponse, mais je n'ai pas trop compris, tu me conseils de mettre

Code: Tout sélectionner
User-Agent: *
Disallow: /download.php*


ou tu poses la question, pour savoir quel méthode est la plus pertinente ? :)


WebRankInfo
Administrateur du site
Administrateur du site
 
Messages: 19415
Inscription: 19 Avr 2002

Re: Interdire à google de visiter certains type d'url

Message le Lun Juin 21, 2010 8:37

si tu veux interdire au crawler de visiter les pages, il faut utiliser le fichier robots.txt
si tu veux interdire à Google d'indexer les pages, il vaut mieux utiliser la balise meta robots noindex


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité