Url Rewriting et google

slvn · 21 Février 2003

ca veut tout dire, et ca vient de chez google...

the use of URL rewriting does violate oogle's Terms of Service.

Mitirapa · 21 Février 2003

t'as lu ca ou exactement ?? j'ai cherché pourtant...

hetzeld · 21 Février 2003

Salut,

Une recherche Google avec "site:www.google.com url rewriting " retourne une jolie page qui dit en substance:

Aucun document ne correspond aux termes de recherche spécifiés (site:www.google.com url rewriting ).

Je ne sais pas d'où tu pèches l'info, mais cela ressemble à un pétard mouillé :lol:

Dan

PS: J'ai bien cherché sur le Web et pas dans les pages France :wink:

slvn · 21 Février 2003

c'est de la part des messieurs de google,
je leur ai envoyé un message avec plusieurs questions,
l'url rewriting etait l'une d'entre elles.

l'autre question concernait (html 4.0 et xhtml 1.0 .. lequel etait le mieux, et ils disent que c pas pareil) )

mais le plus important c'est l'url rewriting qui semble etre interdit

hetzeld · 21 Février 2003

Pour violer les "Terms of Service" il faudrait d'abord que ce cas soit mentionné dans ces "Terms of Service"...
Sans mettre en doute ta connaissance de la langue de Shakespeare, es-tu sûr d'avoir bien compris le message qu'ils t'ont fait passer ? :roll:

Dan

slvn · 21 Février 2003

moi j'ai rien dit

je cite

Hi Sylvain,

Thanks for your note. Unfortunately, we are unable to recommend either HTML 4.0 or XHTML 1.0. In addition, the use of URL rewriting does violate Google's Terms of Service.

Regards,
The Google Team

Original Message Follows:
------------------------
From: "Sylvain " <>
Subject: google & w3c
Date: Thu, 20 Feb 2003 00:17:50 +0100

Hello,

I wanted to know if google prefered html 4.0 or XHTML 1.0? (To make the research better).
Is it cheating to use Url Rewriting?

Sylvain

deblok · 21 Février 2003

Ho bah ca va faire mal ca

Mitirapa · 21 Février 2003

déjà qu'ils n'arrivent pas à choper les sites qui mettent du texte de la meme couleur que le fond alors choper un site d'url rewriting...
ca me laisse perplexe :roll:

ben85r · 22 Février 2003

Message supprimé

hetzeld · 22 Février 2003

slvn a dit:
Thanks for your note. Unfortunately, we are unable to recommend either HTML 4.0 or XHTML 1.0. In addition, the use of URL rewriting does violate Google's Terms of Service.

Je pense qu'il y a confusion... Si ton interlocuteur a compris "réécriture d'URL selon le type de navigateur/robot qui se présente". En fait, l'URL rewriting est souvent confondu avec le "cloaking" et est d'ailleurs utilisé pour cette technique.
Les plus grands sites marchands de la planète utilisent l'URL rewriting (par exemple Amazon), et je ne pense pas que cela viole d'une quelconque manière le TOS de Google.
Si tu avais posé ta question en terme de "spider friendly URLs" la réponse aurait probablement été toute autre.
"Ce n'est pas l'arme qui fait l'assassin, c'est l'usage qu'on en fait"

Dan

Mitirapa · 22 Février 2003

je pense pas qu'il y a eu un prbl de traduction dans le sens url rewriting pour la france et eux utilisent un autre terme...
sinon yaurait pas ce genre de page:
http://www.engelschall.com/pw/apache/rewriteguide/

A Users Guide to URL Rewriting with the Apache Webserver

comme hetzeld, je pense aussi qu'ils ont dit ca pour eviter qu'on l'utilise comme pour faire du cloaking...
mais au lieu de refléchir en faisant des hypothèses il serait peut etre plus rapide de redemander directement à google ?

slvn · 22 Février 2003

je sens que je je vias encore fait la comm. avec les gens de google

)

bielle64 · 22 Février 2003

Je trouve bien dommage qu'il soit nécessaire de passer par l'URL rewriting pour être correctement indexé par google au delà d'un certain nombre de paramètres.

Quel est l'intérêt pour Google de se brider lui même ?
Il n'a plus assez de place sur ses millions de disques durs ?
Les forums du web sont un véritable contenu que Google ne doit pas chercher à éliminer de son indexation.

@Rano · 22 Février 2003

Je vois pas comment GoogleBot peut différencier une url rewritée d'une url normalle... Il a pas accès au serveur à ce que je sache si ?

Yvan · 23 Février 2003

Non, en effet. "index.html" ou "index.html", ça donne la même chose en URL Rewriting ou pas. Et c'est pas par le contenu qu'il trouvera. La seule solution pour eux serait de questionner le serveur pour savoir s'il est configuré avec l'URL Rewriting On, mais je doute que ce soit possible. Et de toute façon, je ne vois pas en quoi ça pourrait être interdit.

A plus,
Yvan.

hetzeld · 23 Février 2003

Bonjour à tous,

En recherchant dans les archives de certains forums US sur lesquels interviennent des employés Google, j'ai trouvé une explication.
En fait cela ne viole pas du tout le TOS mais cela impacte la fréquence de crawl des pages.
Je m'explique: les pages statiques sont moins "lourdes" à générer (en terme de CPU) et peuvent donc être demandées à une fréquence élevée. GoogleBot est un moteur très respectueux qui essaie toujours de ne pas faire subir une charge trop importante au serveur. Une page dynamique "maquillée" en statique fait croire à GoogleBot que la page est "légère à assembler" et donc la cadence de lecture de pages sera plus élevée.
Ceci peut dans certains cas imposer une lourde charge au serveur.

Google "préfère" qu'une page dynamique apparaisse comme tel car ils tiennent des stats sur le type de pages indexées et aiment aussi montrer qu'ils sont pour ainsi dire les seuls à indexer des URL dynamiques (ce n'est plus vrai aujourd'hui) . Mais le choix de l'URL rewriting ou non reste à la libre appréciation du Webmaster.

Dan

deblok · 23 Février 2003

donc il suffit de faire de faire des pages réecriture avec comme extension .php au lieu de .html.

A l'avant dernier full crawl quand google a consulter les sonneries sur mon site, sur beaucoup de page en cache il y a des problemes de connexion à la bdd vu que son scanne à été rapide. (bah oui je met les pages au format .html)

hetzeld · 23 Février 2003

deblok a dit:
donc il suffit de faire de faire des pages réecriture avec comme extension .php au lieu de .html.

A l'avant dernier full crawl quand google a consulter les sonneries sur mon site, sur beaucoup de page en cache il y a des problemes de connexion à la bdd vu que son scanne à été rapide. (bah oui je met les pages au format .html)

Les passer en extension .php pourrait aider à faire comprendre qu'il s'agit de pages dynamiques, et réduire la fréquence des requêtes de pages.
Ton problème illustre bien ce que je décrivais dans mon post précédent.
Le risque est plus important lorsqu'on est sur un hébergement "pas trop rapide" :roll:
C'est exactement pour cela que Google "préfère" qu'une page dynamique soit identifiable en tant que tel.

Dan

slvn · 26 Février 2003

Hi Sylvain,

Thanks for your note. We cannot comment on this specific technique. Please review the suggestions and guidelines posted for webmasters at https://www.google.fr/intl/fr/webmasters/ .

We are sorry that we cannot offer more specific information.

Regards,
The Google Team

Original Message Follows:
------------------------
From: "Sylvain" <slvn@wanadoo.fr>
Subject: RE : google & w3c [#1706581]
Date: Sat, 22 Feb 2003 17:49:07 +0100

Hello,

Are you sure that URL rewriting violates Google's Terms of Service?
(by URL rewriting, I mean for example, transforming
..../my_page.php?Categorie=3
in
....../mp/categorie/3.html )

It's not "redirection" or "spamming", or "lots of keywords".

Yours sincerely,
Sylvain