Fréquence optimale mise à jour sitemap

[quentinspk]

Bonjour à tous,

Je me posais une simple question : peut-il être néfaste d'après vous de mettre à jour son fichier sitemap trop fréquemment ?

Je précise ma question : je génère un fichier sitemap dynamiquement car les pages de mon site sont dynamiques. De nouvelles pages sont susceptibles d'apparaitre tous les jours dans mon sitemap.
A l'inverse, mon script de génération du sitemap est programmé de telle façon que certaines pages, qui n'ont plus d'intérêt pour moi (mais qui sont toujours accessibles en consultation), n'apparaissent plus dans le sitemap, ceci pour "soulager" mon sitemap (et mon serveur).

Du coup, je suis tenté de lancer la mise à jour du sitemap tous les jours, en me disant que les moteurs connaitront ainsi les nouvelles pages, mais qu'ils n'enlèveront pas pour autant de leur index les pages qui ne figurent plus dans mon sitemap, car elles existent toujours en ligne.

Est-ce un bon raisonnement ?

En même temps, si les moteurs constatent que d'un jour sur l'autre le sitemap n'est jamais le même (enfin, il le sera à 95%), cela est-il pénalisant ?

Merci d'avance de vos avis sur le sujet !
Quentin

[HawkEye]

Mon sitemap est généré à la volée: il est de fait toujours à jour.

Google vient le chercher quand il en a envie (inutile de le re-publier).

Quoi qu'il en soit, il faut savoir:

- que le sitemap ne force pas l'indexation des nouvelles pages (je doute même qu'il y contribue)
- que l'absence d'une page dans ton sitemap ne la désindexe pas pour autant

Question: pourquoi retires-tu des pages de ton sitemap, si elles sont toujours en ligne ?

[quentinspk]

Question impertinente (parce que je me la pose aussi) : pourquoi utilises-tu un sitemap puisque tu considères que cela ne contribue pas à l'indexation des nouvelles pages ?

Question: pourquoi retires-tu des pages de ton sitemap, si elles sont toujours en ligne ?

Je l'ai dit dans mon premier message : pour soulager mon serveur, et également parce que je pense que du coup mes nouvelles pages seront moins noyées dans la masse de toutes les urls fournies.

Mais je ne sais pas moi non plus la pertinence de ma réflexion.

Science inexacte...

[Djoule_logo]

C'est clair que ce n'est pas le sitemap qui determinera l'indexation d'une page par un moteur, mais il a au moins l'avantage de fournir la liste des urls du site.
Le moteur connait ainsi toutes les pages (même celle de niveau X qu'il n'aurait pas trouvé facilement par une navigation classique), et après à lui de décider si ces pages sont suffisament pertinentes pour apparaitre dans l'index.

[quentinspk]

Ok.

Donc on confirme : je peux mettre à jour mon sitemap tous les jours si ça me chante, ce ne pourra jamais être négatif ?

[Djoule_logo]

Je confirme

[HawkEye]

Question impertinente (parce que je me la pose aussi) : pourquoi utilises-tu un sitemap puisque tu considères que cela ne contribue pas à l'indexation des nouvelles pages ?

Parceque l'utilité du sitemap XML est qu'il permet à Google de confronter les données du Webmaster à son index, et d'effectuer un retour d'informations dans la console Webmaster Tools.

pour soulager mon serveur, et également parce que je pense que du coup mes nouvelles pages seront moins noyées dans la masse de toutes les urls fournies.

La génération de ton sitemap est si lourde qu'elle en vient à saturer ton serveur ?
Combien d'URLs sont concernés ?

La limite est fixée à 50.000 URLs par Sitemap, et à 1.000 Sitemaps par SitemapIndex, ce qui te donne la possibilité de renseigner 50 millions d'URLs... ta crainte quant aux pages "noyées dans la masse" ne me semble pas fondée

++

[quentinspk]

La génération de ton sitemap est si lourde qu'elle en vient à saturer ton serveur ?
Combien d'URLs sont concernés ?

Tu sais quand tu as beaucoup du trafic, tu en viens à tout optimiser : les scripts, les requêtes SQL et ce genre de tâches.

La limite est fixée à 50.000 URLs par Sitemap, et à 1.000 Sitemaps par SitemapIndex, ce qui te donne la possibilité de renseigner 50 millions d'URLs... ta crainte quant aux pages "noyées dans la masse" ne me semble pas fondée

Au contraire, le fait que je puisse fournir plusieurs millions d'URL ne me rassurent pas. Car si je glisse des nouvelles urls au milieu de ce(s) million(s), la queue sera plus longue, et elles seront moins vite trouvées et parcourues que si je glisse des nouvelles urls au milieu de dizaines de milliers par exemple. C'est mathématique (ou plutôt algorithmique).
Je ne dis pas qu'elles ne seront pas parcourues. Je dis que j'ai besoin d'une indexation très rapide, car c'est du contenu rapidement périssable.

Mais du coup puisque vous savez tout ça, vous allez peut-être me proposer une autre astuce ?

[WebRankInfo]

déjà si tu te contentais de lister uniquement les nouvelles URL ? pour ma part je n'ai jamais trop compris l'intérêt de lister des pages déjà indexées depuis des lustres

[quentinspk]

déjà si tu te contentais de lister uniquement les nouvelles URL ?

Ah on entame là une réflexion intéressante... Effectivement, pourquoi pas ?

[planetecasamance]

A mon avis et c'est ce que je fais pour mes sites c'est :

1 - d'avoir un bon "plan du site" qui permette de diriger les spiders de google vers le plus de pages possible

2 - le Sitemap ne sert pas a lister toute les pages du sites. L'astuce est lorsqu'on a des milliers de pages a indexer, de diviser le site en catégories. de créer des archives /mois pour chaque catégorie. Puis de lister toute les catégories et les pages des archives /mois dans le fichier Sitemap.

Les moteurs de recherche suivront ces liens et le tour est joue. Appartient ensuite au webmaster de d'optimiser le contenu du site en faisant le plus de lien possible entre les pages.

EXEMPLE : j'ai une page qui parle de PAGERANK et dans le contenu de cette page si j'ai le googglebombing et bien je fait un lien vers la page du site qui parle de googglebombing. cette exercice demande beaucoup d'attention mais bénéfique pour l'indexation de tout le site.

Aussi si vous avez beaucoup de contenu créer un fichier sitemap par catégorie et un pour les archives de chaque catégorie.

Pour finir les moteurs de recherche s'en foute de la fréquence de mise a jour de ce fichier. Par contre ce qui peut vous couter cher c'est de déplacer les Spider pour un contenu inchangé.