Sitemap lorsque l'on possède 1000000+ d'urls ?

[sygma]

Bonjour à tous,

Je suis nouveau sur le forum car je viens juste de finir mon site, et ne me reste plus qu'à le référencer. Je me suis donc informé et ai pu lire que les sitemaps de google aidaient grandement au référencement.

Seulement voilà, comme le dit le titre, j'ai plus d'un million d'urls (que je souhaite référencer). J'ai donc pensé à créer un sitemaps dynamique, en php, qui utiliserait ma bdd. Mais vu le nombre de requêtes à exécuter, je me demande si le serveur ne va pas flancher ou si le temps d'exécution ne va pas dépassé le temps maximum d'exécution.

Je viens donc vous demander si vous avez une solution à me proposer pour me créer mon sitemap en étant certifié qu'il fonctionnera sans problème et sans géner le serveur.

Je ne sais pas si cela peut aider mais les urls (la majorité) que je dois référencer sont du type : http://www.monsite.com/video_1_un_titre.html

Je vous remercie par avance pour votre aide.

 

[XoSt]

Tu as fait du contenu unique sur 1 million de pages ? Parce que si c'est non tu peux mettre en noindex tout ce qui n'est pas unique et ça te fera déjà des pages en moins à indexer.

 

[Leonick]

Je me suis donc informé et ai pu lire que les sitemaps de google aidaient grandement au référencement.

ben non !

 

[WebRankInfo]

Bienvenue sur WRI

les sitemaps ne doivent être utilisés que pour :
- accélérer l'indexation des nouvelles pages, sur un gros site qui en publie plusieurs par jour
- éventuellement aider à mesurer le nombre de pages indexées par Google

en fait tu ne devrais pas avoir besoin de sitemaps.
as-tu vérifié que ton maillage en interne est bon ?
tu as + d'un million de vidéos sur ton site ? ça parait étonnant mais bon
si vraiment tu veux te lancer là dedans, fais des index de sitemaps et plusieurs sitemaps de 50.000 URL chacun

 

[sygma]

Merci pour vos réponses.

Xost, peut tu préciser, je ne comprends bien.
Mon site fonctionne de cette manière : on peut accéder à des vidéos depuis une grille dans les pages : d'accueil, de recherche, de catégorie, mais l'on peut aussi y accéder depuis une liste de vidéos relatées en rapport avec la vidéo que l'on regarde.

M. L'admin, oui, tu as raison, ça peut paraître étonnant, mais si si, je t'assure, j'ai plus d'un millions de vidéos
Qu'entends-tu par maillage interne ? je ne vois pas de quoi il s'agit (Je me lance dans le référencement).
Pour ton idée de plusieurs sitemaps, ce n'est pas que je ne veut pas, mais je ne pense pas pouvoir faire cela. En fait, l'idéal serait vraiment de générer mes urls automatiquement.

Par ailleurs, Je me demandais si c'était possible de généré mes liens un peut comme on peut le faire avec un Rewrite Rule, c'est à dire que je me demandais si l'on pouvait dire à google : "j'ai des url de ce type : http://www.monsite.com/video_$1_$2.html"

 

[e-kiwi]

Bonjour,

tu n'as pas d'autre solution que de générer plusieurs sitemaps !
et non, pas d'expression régulières, tu dois lister toutes les url's une à une

 

[zeb]

Qu'entends-tu par maillage interne ? je ne vois pas de quoi il s'agit (Je me lance dans le référencement).

Le maillage interne n'est pas directement lié au référencement mais il représente la faculté a parcourir toutes les pages de ton site facilement.
En résumé si tu as au moins un lien quelque part sur ton site vers chacune de tes pages ton maillage est complet.
Après il y a maillage et maillage, les liens peuvent être groupés par thème, linéairement ou autrement mais l'important c'est de ne laisser aucune page orpheline.

J'ai donc pensé à créer un sitemaps dynamique, en php, qui utiliserait ma bdd. Mais vu le nombre de requêtes à exécuter

Regarde du côté de "limit x,y" pour mysql ça devrait te donner une idée de comment générer plusieurs sitemap avec un seul script tout en découpant la totalité du sitemap en N morceaux.

Mais bon si ton maillage est correct le sitemap ne te donnera pas grand chose de plus si ce n'est qques jours en moins pour indexer ton site, mais vue le nombre de page je ne pense pas que ce soit un avantage...
Tant que tu est dans les recherches regarde du côté de "spamindex" à ce sujet.

 

[Leonick]

M. L'admin, oui, tu as raison, ça peut paraître étonnant, mais si si, je t'assure, j'ai plus d'un millions de vidéos

hébergées sur tes propres serveurs ?

 

[sygma]

Merci pour toutes vos réponses.

hébergées sur tes propres serveurs ?

Je doute que la question soit en rapport avec le sujet mais, non, les vidéos en elles-mêmes sont hébergées ailleurs, j'héberge par contre dans ma base de données, tous leurs titres, catégories, mot-clés...

Pour revenir au sujet de mon post, Je pense que je vais opter pour la solution de zeb, c'est à dire de créer un script qui me permettrais justement de gérer plusieurs sitemaps.

Je vais donc vous poser une petite dernière question. Comment dois-je appeler les différents sitemaps, le nom a-t-il une quelconque importance pour les robots de google ?

 

[UsagiYojimbo]

Non, tu t'en moque du nommage, etant donné que tu indiques ensuite à Google, via les webmaster tools, l'url de ton sitemap index, ou de chacun de tes sitemap indépendant.

 

[sygma]

Très bien merci.
Comment fait-on pour mettre résolu ?

 

[Marie-Aude]

On ne met pas ici le référencement n'est "jamais" résolu

 

[WebRankInfo]

je persiste... si tu ne comprends pas la notion de maillage interne, ce n'est pas en codant tes fameux sitemaps que tu vas réussir le référencement de ton site.

par maillage interne, je veux parler de liens. S'il n'y a pas suffisamment de liens vers toutes tes pages, avec une bonne logique de liens, alors tu vas vraiment avoir du mal à faire ressortir toutes ces pages.

je suis peut-être curieux, mais comment fait-on pour sortir d'un coup 1 million de vidéos sur un nouveau site ? ce ne sont pas des vidéos de Youtube ou Dailymotion tout de même ?

 

[Leonick]

hébergées sur tes propres serveurs ?

Je doute que la question soit en rapport avec le sujet mais, non, les vidéos en elles-mêmes sont hébergées ailleurs, j'héberge par contre dans ma base de données, tous leurs titres, catégories, mot-clés...

si, justement. Car si les vidéos sont hébergées ailleurs, cela veut dire qu'une grande partie de ton contenu n'est pas sur tes propres pages.
Si, en plus, ce sont des vidéos youtube, même si tu héberges toutes les infos dans ta bdd, ces infos se retrouvent déjà dans la base de youtube. Donc gg risque de ne pas indexer tes pages.
Un sitemap n'a pas propension à aider au référencement de contenu web, il sert juste à indiquer à gg un semblant d'exhaustivité du site. Donc là, si tes vidéos viennent de y!, tu lui indiques 1 M de liens dans tes sitemaps, GWT va donc t'indiquer 265 pages indexées sur 1000000 !
si tu n'as pas de contenu propre à toi et, qu'en plus, tu n'as pas fait un maillage de ton site permettant d'accéder à toutes tes vidéos en moins de 4-5 pages, ton site est mal parti

 

[sygma]

Il y a environs 40 liens par pages.
Ces vidéos ne sont pas hébergées sur un site tel que youtube ni dailymotion. Je ne peux pas en dire plus.
J'ai bien compris la notion de maillage interne seulement, je ne peux mettre plus de 40 liens par pages (si la page est trop longue, cela va certainement gêner l'utilisateur). De plus, nous possédons les liens des hébergements de nos vidéos mais ne les ajouterons pas toutes en même temps. Nous en avons pour l'instant ajouté seulement 20 000 et avons créé un script nous permettant de mettre en ligne les vidéos sans qu'elle ne s'affichent, en programmant leur date de sortie sur le site.

 

[XoSt]

Il a forcément acheté le script de scraping youtube.