Problème GWT et robots.txt

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics

fanfl
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 41
Inscription: 28 Sep 2010

Problème GWT et robots.txt

Message le Dim Mai 08, 2011 18:42

Bonsoir,

j'ai un problème avec les Google Webmasters Tools.
Depuis que je suis passé à l'URL rewriting, je me prends des Accès restreint par un fichier robots.txt sur des URL ne comprenant aucun des répertoires de mon fichier robots.txt que voici :

Code: Tout sélectionner
User-agent: *
Disallow: /include/
Disallow: /js/
Disallow: /style/
Disallow: /p3f/
Disallow: /templates/
Disallow: /magpierss/
Disallow: /lang/
Disallow: /fw/
Disallow: /crypto/


Merci pour votre aide
Cordialement


Marie-Aude
Modérateur
Modérateur
 
Messages: 11898
Inscription: 5 Juin 2006

Re: Problème GWT et robots.txt

Message le Dim Mai 08, 2011 19:31

Et tu fournis la boule de cristal ?
Parce que sans les urls en erreur, sans l'url du site, etc... je vais appeler madame Irma :)

chajia
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 6
Inscription: 7 Oct 2010

Re: Problème GWT et robots.txt

Message le Dim Mai 08, 2011 21:42

je pense que les liens seront effacés automatiquement avec le temps le robot va comprendre que les liens n'ont aucune relation avec vos pages. c'est juste une supposition.

fanfl
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 41
Inscription: 28 Sep 2010

Re: Problème GWT et robots.txt

Message le Dim Mai 08, 2011 22:44

Je voulais éviter de balancer les URL, pensant que je ratais peut être une règle générale.

Voici les URLs (au NDD près) :

http://www.footballamericain.com/index.php?p=team&t=SF&e=49ers-san-francisco
URL à accès restreint par un fichier robots.txt
6 mai 2011
http://www.footballamericain.com/nfl/actualites.php?r=3553&t=2&d=0
URL à accès restreint par un fichier robots.txt
6 mai 2011
http://www.footballamericain.com/nfl/actualites.php?r=3534&t=2&d=0
URL à accès restreint par un fichier robots.txt
6 mai 2011
http://www.footballamericain.com/nfl/actualites.php?r=3539&t=2&d=0
URL à accès restreint par un fichier robots.txt
6 mai 2011
http://www.footballamericain.com/nfl/actualites.php?r=3538&t=2&d=0
URL à accès restreint par un fichier robots.txt
6 mai 2011


Merci
Bonne nuit
Dernière édition par Marie-Aude le Lun Mai 09, 2011 9:20, édité 1 fois.
Raison: Remplacé les urls avec monsite (dont certaines envoyaient sur des sites de cul) par le vrai site et supprimé un peu les exemples redondants


Marie-Aude
Modérateur
Modérateur
 
Messages: 11898
Inscription: 5 Juin 2006

Re: Problème GWT et robots.txt

Message le Lun Mai 09, 2011 0:23

Sans l'url du site qui permet d'aller voir, totalement inutile
Bonne nuit

fanfl
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 41
Inscription: 28 Sep 2010

Re: Problème GWT et robots.txt

Message le Lun Mai 09, 2011 6:29

Marie-Aude a écrit:Sans l'url du site qui permet d'aller voir, totalement inutile
Bonne nuit


Très bien, je ne pensais pas que je pouvais :) donc : www.footballamericain.com
merci


Marie-Aude
Modérateur
Modérateur
 
Messages: 11898
Inscription: 5 Juin 2006

Re: Problème GWT et robots.txt

Message le Lun Mai 09, 2011 9:22

Bon la première est en erreur 404
Elle est censée vraiment exister ?

fanfl
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 41
Inscription: 28 Sep 2010

Re: Problème GWT et robots.txt

Message le Lun Mai 09, 2011 12:14

Marie-Aude a écrit:Bon la première est en erreur 404
Elle est censée vraiment exister ?


Tout d'abord merci pour ton temps.

Je prends les 2 premières URL de la liste que tu as modifiée :
http://www.footballamericain.com/index.php?p=team&t=SF&e=49ers-san-francisco --> fait un 301
http://www.footballamericain.com/nfl/actualites.php?r=3534&t=2&d=0 --> fait un 410

Dans les deux cas, pas de 404 donc je ne te suis pas trop là :(

En gros, les actualites.php font toujours des 301 (si l'équivalent "url réécrit" existe) ou des 410 (pas de correspondance).

merci


Marie-Aude
Modérateur
Modérateur
 
Messages: 11898
Inscription: 5 Juin 2006

Re: Problème GWT et robots.txt

Message le Lun Mai 09, 2011 12:39

Quand je cliques sur le premier lien de ta liste, j'ai un 404
Essaie en étant déconnecté de ton CMS ^^

(ce qui peut être une raison des problèmes de crawl)

fanfl
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 41
Inscription: 28 Sep 2010

Re: Problème GWT et robots.txt

Message le Lun Mai 09, 2011 13:20

Marie-Aude a écrit:Quand je cliques sur le premier lien de ta liste, j'ai un 404
Essaie en étant déconnecté de ton CMS ^^

(ce qui peut être une raison des problèmes de crawl)


Bon je suis scié là.
Avant j'étais chez moi, là je suis au taff. Avec Chrome en mode "privé", je n'ai pas de session ouverte spécifique. Je suis redirigé en 301 vers http://www.footballamericain.com/nfl/san-francisco-49ers .

J'ai essayé avec FFX, Chrome et IE7. Quelque chose m'échappe mais je ne vois pas quoi...

fanfl
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 41
Inscription: 28 Sep 2010

Re: Problème GWT et robots.txt

Message le Mer Mai 18, 2011 13:04

Bonjour,

J'ai fini mes modifs et après plusieurs jours d'attente je suis passé de 192 erreurs 404 à 506.
Or la plupart des liens morts ont été configurés pour rendre un 410 :
http://www.footballamericain.com/liens_compteur.php?site=3&r=321&t=l

Pouvez-vous me dire si vous avez bien un 410 sur ce lien ?

merci beaucoup


Marie-Aude
Modérateur
Modérateur
 
Messages: 11898
Inscription: 5 Juin 2006

Re: Problème GWT et robots.txt

Message le Mer Mai 18, 2011 13:09

Oui c'est bien la réponse.

Tu ne peux pas plutôt faire une redirection 301 ?

fanfl
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 41
Inscription: 28 Sep 2010

Re: Problème GWT et robots.txt

Message le Mer Mai 18, 2011 13:38

Merci Marie-Aude :)
Ca me rassure. J'ai lu sur un forum de google qu'un gars avait eu le même problème que moi et du jour au lendemain, tout avait disparu. Je vais donc patienter.

Non, il s'agit bien de 410 pour toute une série de pages. 301 pour d'autres. :)

A bientôt


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité