Indexation, robots et url rewriting

Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics

sunsetbld
WRInaute discret
WRInaute discret
 
Messages: 64
Inscription: Jeu Juil 07, 2005 0:59

Indexation, robots et url rewriting

Message le Ven Aoû 17, 2007 18:34

Salut !

Je n'arrive pas à comprendre pourquoi Google tente d'indexer les pages de mon forum du genre "viewtopic.php?p= 2901" alors que ce type d'url est re writé par htacess du type "ftopic242.php".

dans mon fichier robots.txt, j'ai bloqué l'indexation des pages du type "viewtopic...." mais je n'arrive pas à comprendre comment google peut voir et avoir "envie" d'indexer une telle url vue qu'elle est directement re writé. On a l'impression que Google ne "voit" pas mes pages re writées, qui, elles, attendent desepérement d'être indexées !!

J'espère avoir été clair dans mes explications.

Merci par avance de votre aide.


Fight666
WRInaute passionné
WRInaute passionné
 
Messages: 882
Inscription: Ven Mar 31, 2006 20:06

Message le Ven Aoû 17, 2007 18:47

Salut,

Tu est sur que sur ton forum tu n'a pas un endroit ou tes pages "viewtopic.php?p= 2901" sont encore linkées ?

sunsetbld
WRInaute discret
WRInaute discret
 
Messages: 64
Inscription: Jeu Juil 07, 2005 0:59

Message le Ven Aoû 17, 2007 18:49

Justement non, je ne vois pas, c'est bien pour cela que cela me parait bien étrange....


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 2659
Inscription: Lun Mai 03, 2004 14:48

Re: Indexation, robots et url rewriting

Message le Ven Aoû 17, 2007 18:57

sunsetbld a écrit:Je n'arrive pas à comprendre pourquoi Google tente d'indexer les pages de mon forum du genre "viewtopic.php?p= 2901" (...).
Qu'est-ce qui te fait dire ça ? Je ne vois aucune de ces pages dans les résultats de Google.

N'oublie pas que tes pages affichent des annonces Google AdSense. Il est donc normal que des robots de Google la visitent pour en déterminer le contenu.

Jean-Luc

sunsetbld
WRInaute discret
WRInaute discret
 
Messages: 64
Inscription: Jeu Juil 07, 2005 0:59

Message le Ven Aoû 17, 2007 19:05

Je n'ai pas dit que google les avaient indexées ! Il cherche seulement à les indexer, mais le fichier robots.txt l'en empèche ! En fait, je vois qu'il a visité la page sur mon compte "Google Adsense" dans la rubrique "diagnostic du site" - URL bloquées.


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 2659
Inscription: Lun Mai 03, 2004 14:48

Message le Ven Aoû 17, 2007 19:27

A mon avis, Google ne cherche pas à indexer ces pages. Ce que tu indiques veut dire que Google te signale que cela l'empêche d'optimiser le contenu des annonces.

Pour que le robot AdSense veuille visiter la page, il suffit que quelqu'un visite une des URL en question (par exemple, ancienne adresse dans les favoris). Rien d'anormal là-dedans! :wink:

Jean-Luc

Koxin-L
WRInaute accro
WRInaute accro
 
Messages: 1925
Inscription: Jeu Mar 29, 2007 15:54

Message le Ven Aoû 17, 2007 21:21

Si tu est rewriter complètement, ca devrait suffire...
Code: Tout sélectionner
User-agent:*

Disallow: /forum/faq.php
Disallow: /forum/groupcp.php
Disallow: /forum/login.php
Disallow: /forum/memberlist.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/search.php
Disallow: /forum/viewforum.php
Disallow: /forum/viewonline.php
Disallow: /forum/viewtopic.php

A placer dans le robots.txt, of course...

sunsetbld
WRInaute discret
WRInaute discret
 
Messages: 64
Inscription: Jeu Juil 07, 2005 0:59

Message le Ven Aoû 17, 2007 22:09

jeanluc a écrit:A mon avis, Google ne cherche pas à indexer ces pages. Ce que tu indiques veut dire que Google te signale que cela l'empêche d'optimiser le contenu des annonces.

Pour que le robot AdSense veuille visiter la page, il suffit que quelqu'un visite une des URL en question (par exemple, ancienne adresse dans les favoris). Rien d'anormal là-dedans! :wink:

Jean-Luc


Merci Jean-Luc, tes propos dissipent le mystère :wink:


Formation recommandée sur ce thème :

Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :

  • Déterminer l'ancienneté d'un site
    Cet outil vous permet de connaître une estimation de l'ancienneté d'un site : il fournit la date à laquelle Google l'a indexé la première fois (et la même chose pour archive.org).
  • Lister les sous-domaines
    Cet outil vous permet de trouver la liste des sous-domaines (indexés) d'un site.


Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités