Indexation, robots et url rewriting

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics

sunsetbld
WRInaute discret
WRInaute discret
 
Messages: 64
Inscription: 7 Juil 2005

Indexation, robots et url rewriting

Message le Ven Aoû 17, 2007 18:34

Salut !

Je n'arrive pas à comprendre pourquoi Google tente d'indexer les pages de mon forum du genre "viewtopic.php?p= 2901" alors que ce type d'url est re writé par htacess du type "ftopic242.php".

dans mon fichier robots.txt, j'ai bloqué l'indexation des pages du type "viewtopic...." mais je n'arrive pas à comprendre comment google peut voir et avoir "envie" d'indexer une telle url vue qu'elle est directement re writé. On a l'impression que Google ne "voit" pas mes pages re writées, qui, elles, attendent desepérement d'être indexées !!

J'espère avoir été clair dans mes explications.

Merci par avance de votre aide.


Fight666
WRInaute impliqué
WRInaute impliqué
 
Messages: 883
Inscription: 31 Mar 2006

Message le Ven Aoû 17, 2007 18:47

Salut,

Tu est sur que sur ton forum tu n'a pas un endroit ou tes pages "viewtopic.php?p= 2901" sont encore linkées ?

sunsetbld
WRInaute discret
WRInaute discret
 
Messages: 64
Inscription: 7 Juil 2005

Message le Ven Aoû 17, 2007 18:49

Justement non, je ne vois pas, c'est bien pour cela que cela me parait bien étrange....


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 3049
Inscription: 3 Mai 2004

Re: Indexation, robots et url rewriting

Message le Ven Aoû 17, 2007 18:57

sunsetbld a écrit:Je n'arrive pas à comprendre pourquoi Google tente d'indexer les pages de mon forum du genre "viewtopic.php?p= 2901" (...).
Qu'est-ce qui te fait dire ça ? Je ne vois aucune de ces pages dans les résultats de Google.

N'oublie pas que tes pages affichent des annonces Google AdSense. Il est donc normal que des robots de Google la visitent pour en déterminer le contenu.

Jean-Luc

sunsetbld
WRInaute discret
WRInaute discret
 
Messages: 64
Inscription: 7 Juil 2005

Message le Ven Aoû 17, 2007 19:05

Je n'ai pas dit que google les avaient indexées ! Il cherche seulement à les indexer, mais le fichier robots.txt l'en empèche ! En fait, je vois qu'il a visité la page sur mon compte "Google Adsense" dans la rubrique "diagnostic du site" - URL bloquées.


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 3049
Inscription: 3 Mai 2004

Message le Ven Aoû 17, 2007 19:27

A mon avis, Google ne cherche pas à indexer ces pages. Ce que tu indiques veut dire que Google te signale que cela l'empêche d'optimiser le contenu des annonces.

Pour que le robot AdSense veuille visiter la page, il suffit que quelqu'un visite une des URL en question (par exemple, ancienne adresse dans les favoris). Rien d'anormal là-dedans! :wink:

Jean-Luc

Koxin-L
WRInaute passionné
WRInaute passionné
 
Messages: 1925
Inscription: 29 Mar 2007

Message le Ven Aoû 17, 2007 21:21

Si tu est rewriter complètement, ca devrait suffire...
Code: Tout sélectionner
User-agent:*

Disallow: /forum/faq.php
Disallow: /forum/groupcp.php
Disallow: /forum/login.php
Disallow: /forum/memberlist.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/search.php
Disallow: /forum/viewforum.php
Disallow: /forum/viewonline.php
Disallow: /forum/viewtopic.php

A placer dans le robots.txt, of course...

sunsetbld
WRInaute discret
WRInaute discret
 
Messages: 64
Inscription: 7 Juil 2005

Message le Ven Aoû 17, 2007 22:09

jeanluc a écrit:A mon avis, Google ne cherche pas à indexer ces pages. Ce que tu indiques veut dire que Google te signale que cela l'empêche d'optimiser le contenu des annonces.

Pour que le robot AdSense veuille visiter la page, il suffit que quelqu'un visite une des URL en question (par exemple, ancienne adresse dans les favoris). Rien d'anormal là-dedans! :wink:

Jean-Luc


Merci Jean-Luc, tes propos dissipent le mystère :wink:


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités