Saturation Google dû à l'URL Rewriting

**le Jeu Mar 13, 2003 22:48**

Bonjour, je poste ça ici, mais ça devrait aussi se trouver dans la section URL Rewriting.

Voilà, mon site utilise l'URL Rewriting, et ça marche enfin parfaitement, enfin je veux dire par là que Google m'a enfin référencé, tout au moins il a bien commencé (merci Googlestats pour les infos !), et ce malgré mes Frames (au passage pour ceux qui en ont, gardez-les !).

Cependant, j'ai une page de recherche : http://www.lacoccinelle.net/search.html, et dessus j'y affiche les 20 dernières recherches. Google en a déjà pris un paquet de 20. Mais à chaque fois qu'il va passer, il va tomber sur une nouvelle version de la page de recherche, donc sur 20 nouvelles URL... Et sachant qu'elles sont toutes réécrites... Ca ne va pas être très propre tout ça, puisqu'il ne va pas arrêter de trouver des pages, et qu'il va sans arrêt les ajouter à son index. Pour moi, pas de problème, mais pour Google, cela ne risque-t-il pas d'être du temps perdu/place perdue ? Parce qu'il n'est pas près de voir toutes les URL possibles, même si derrière leur contenu change peu souvent. Et j'ai aussi un peu peur de voir mes stats saturées par GoogleBot...

Des idées/infos là-dessus, ou le mieux est-il encore de poser la question au concerné (donc à la Google équipe !) ?

Yvan.

**le Jeu Mar 13, 2003 22:53**

tu peux interdire à Google d'indexer cette page précisément, avec la balise meta robots

**le Jeu Mar 13, 2003 22:56**

Oui, c'est vrai, j'avais pas pensé à ça... Mais la question est aussi : est-il utile que Google référence ces pages, qui ne sont qu'un mix de mes autres pages ? Je me dis que oui puisque cela me permettra d'avoir plus de pages, donc plus de pages avec mots-clé, mais comment Google pourra-t-il faire la différence avec des pages satellites ?

Sinon je sens que je vais opté pour le "noindex", parce que maintenant qu'il commence à suivre mes urls, j'ai aps envie de me faire blacklister !!

Merci,
Yvan.

**le Ven Mar 14, 2003 14:40**

Pour infos, avant d'arriver a satturer google tu peux y aller !

Le mois dernier a cause de ( ou grace a ) l'url rewritting, google m'a référencé 55000 pages sans problèmes. Aucune utilitée ( ou trés peu en terme de trafic ), si ce n'est des erreurs du a certain bug de prog.

Pour information seulement.

**le Ven Mar 14, 2003 16:01**

Ah mon avis avant que Google sature à cause du trop grand nombre de page.. Y'a de la marge!

Le risque n'est t'il pas de ce faire Blacklister à cause d'un contenue trop dupliqué??

**le Ven Mar 14, 2003 16:56**

perso au début je voulais qu'il en prenne un max.. il a meme été à 142 000 pages indexés (j'avais fait une erreur de SID dans mon forum)
maintenant que j'ai vu le taux de visiteurs rammené par rapport ma bande passante bouffée, j'ai préféré à fermer mes forums pour le non-membre (et donc les moteurs vu qu'ils ne sont pas membre), et je vais aussi virer mon url rewriting d'une partie de ma galerie photos...
Ma conclusion de mon expérience a donc été de savoir que ca ne sert à rien de rendre tout indexable...

**le Ven Mar 14, 2003 17:20**

Mitirapa a écrit:maintenant que j'ai vu le taux de visiteurs rammené par rapport ma bande passante bouffée, j'ai préféré à fermer mes forums pour le non-membre

Que veux tu dire ? Que ta bande passante a été bouffée à cause d'un trop grand nombre de visiteur ? Dans se cas c'est bien, non ?

**le Ven Mar 14, 2003 19:21**

bouffé par les robots des moteurs...
googlebot+pompos+fast, etc.. ca fait bcp de traffic par ces bots pour pas bcp de retour de vrais visiteurs

**le Dim Mar 16, 2003 11:01**

Bande passante...

Mitirapa a écrit:bouffé par les robots des moteurs...
googlebot+pompos+fast, etc.. ca fait bcp de traffic par ces bots pour pas bcp de retour de vrais visiteurs

C'est sûr que pour les sites qui se laissent accaparer progressivement la totalité de leur bande passante par les spiders, il faudrait inventer une nouvelle balise du type:
<META NAME="Humans" CONTENT="indexation en cours, Désolé nofollow">

**le Dim Mar 16, 2003 22:49**

Bonjour, je rentre juste de WE, et la surprise, c'est aussi les 4000 mails de Google Stats !! Et oui, le problème n'est pas seulement que Google m'indexe les pages, mais comme le dit Mitirapa, c'est que ça bouffe de la bande-passante au max. De plus, si je laisse faire Google, il n'en finira pas de trouver des pages (car les recherches réalisées sur mon site font parties des URL !). Donc forcément, il me faut le limiter. Je sais bien que je ne risque pas de les saturer, mais bon, j'ai déjà 4000 pages indexes, alors que seulement 600 suffiraient. J'ai donc mis un noindex/nofollow sur ma page de recherche. En sachant cependant que mes pages restent accessibles par d'autres liens.

Une question me vient : si Google référence une page, mais ne suit pas les liens (à cause du "nofollow"), se servira-t-il tout de même de cette page pour calculer son PR ? En clair s'il voit un lien d'une page A (nofollow) vers une page B déjà indexée, l'inclut-il dans son algorithme pour calculer le PR de B ?

C'est tout sinon, merci de vos réponses

**le Dim Mar 16, 2003 23:08**

pour le pb de GoogleStats (même s'il y aura sûrement une nouvelle version d'ici la prochaine Google Dance) :
1/ dans googlestats.inc.php : cherche les lignes ressemblant à ça :

Code: Tout sélectionner: $sql3 .= " WHERE ip LIKE '".$FULL_CRAWL_IP."%'"; $sql3 .= " AND TO_DAYS(NOW()) - TO_DAYS(date) < $NB_J_DET_FULL_CRAWL";

et corrige-les pour qu'elles soient identiques à ceci.
2/ pour éviter de recevoir un message sans texte ( :oops:

), toujours dans le meme fichier, ajoute en haut :

Code: Tout sélectionner: include $DOCUMENT_ROOT."/googlestats/lang.$LANGUE.php";

ceci dit apparement GoogleBot aime bien ton site !

**le Dim Mar 16, 2003 23:26**

Salut Olivier, je n'ai pas vu de différence entre le code sql3 du script que j'ai et de celui que tu as posté. Ca doit limiter le nombre de mail que je reçois, c'est ça ?D'après ce que j'ai compris, ça ne limite pas, et ça m'envoie un mail par page sur laquelle le Full Crawl est passé. C'est pas bien grave, j'ai encore plus limité mes pages grâce au noindex/nofollow, je ne devrais plus recevoir de mails. Et de toute façon, je les laisse, ça me permet de voir l'activité de mon cher GoogleBot.

Quant au $LANGUE, je le savais, puisque c'est moi qui t'ai fait passé le mot :wink:

Mais je ne regrette en rien cette toute dernière version de GS, au contraire, ça m'a permi de voir que Google et les autres moteurs risquaient de tourner en rond sur mon site...

A plus, et merci encore de ta spontanéité !

**le Dim Mar 16, 2003 23:47**

il y avait une parenthèse en trop après ."%'";

**le Lun Mar 17, 2003 0:45**

Yvan a écrit:Une question me vient : si Google référence une page, mais ne suit pas les liens (à cause du "nofollow"), se servira-t-il tout de même de cette page pour calculer son PR ? En clair s'il voit un lien d'une page A (nofollow) vers une page B déjà indexée, l'inclut-il dans son algorithme pour calculer le PR de B ?

Juste pour dire que la réponse à cette question m'intéresse également...même si il y a peu de change que quelqu'un soit informé. C'est très proche de http://www.webrankinfo.com/forums/viewtopic_2079.htm resté sans réponse.

Katia.

**le Lun Mar 17, 2003 6:43**

Katia, je pense que le plus simple reste encore de demander à l'équipe de Google. Si j'ai le temps, je le ferais ce soir.

Olivier, j'ai trouvé la parenthèse fautive en effet, par contre je ne vois pas ce que cela pourrait changer au niveau des mails (bien que la requête MySQL marche désormais). Si j'ai bien compris, on reçoit un mail par page crawlée par le Full Crawl, c'est bien ça ?

A plus,

Saturation Google dû à l'URL Rewriting

Saturation Google dû à l'URL Rewriting

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne