Messages: 18187

Enregistré le: 23 Fév 2004

Message le Lun Mai 24, 2010 1:42

Hello,

Je termine à l'instant un mécanisme de publication différée pour l'annuaire indeXweb.info.
Ce mécanisme n'affecte pas la présence des liens dans les flux RSS et sitemaps XML.

Je termine donc, et je teste, en validant deux sites à la volée. Résultat: un publié immédiatement, et l'autre publié dans 5 minutes.
Mon test valide le fonctionnement, je passe à ma "tâche" suivante.

Moins d'une minute plus tard, je fais une commande site:annuaire.indexweb.info avec &tbs=rltm:1 qui permet d'afficher les résultats les plus récents.

Que ne vois-je comme premiers résultats que les fiches des deux sites que je viens de valider.
La première était linkée depuis la homepage depuis 1 minute. J'étais habitué à du 6-7 minutes... donc j'hallucine déjà un peu...
Mais l'autre - elle - n'était encore linkée de nulle part.
Je ne l'avais pas non plus visitée - ce qui écarte un crawl par Mediapartners ou la Toolbar.

> Via le Sitemap XML, Google a indexé en quelques secondes à peine une page qui n'est même pas encore publiée.
Je trouve ça complètement dingue.
Est-ce que vous avez des expériences similaires ? Au niveau de sites de news éventuellement ?
Haut
53 Réponses
Messages: 688

Enregistré le: 16 Juin 2003

Message le Lun Mai 24, 2010 1:49

question qui n'a aucun rapport, le contenu de ton site est-il unique ?
et autre question, ta recherche par tag, cela fait longtemps qu'elle est mise en place ?
Haut
Messages: 4024

Enregistré le: 14 Sep 2006

Message le Lun Mai 24, 2010 2:02

Encore rien avoir mais sur un blog , j'ai créé un new billet et quelques secondes après, je tape le titre sur google et je le trouve ^^
Ca doit être à cause du système de wordpress qui fait un ping à google pour faire venir le bot j'imagine.
Haut
Messages: 2295

Enregistré le: 26 Juil 2009

Message le Lun Mai 24, 2010 2:23

J'ai déjà eu ça. Je me suis toujours dit que google arrivait à détecter quand un bot était sur le site la modification de structure et allait vérifier si c'était bien le cas.
Haut
Messages: 15815

Enregistré le: 23 Déc 2003

Message le Lun Mai 24, 2010 10:13

moi j'ai ce cas tout le temps, Google m'indexe des articles quelques secondes avant leur mise en ligne, si le sitemap est publié avant l'article. sinon, c'est de l'ordre de quelques secondes, mais ca me le fait depuis plus d'un an, ce n'est pas nouveau :)
Haut
Messages: 3694

Enregistré le: 6 Jan 2006

Message le Lun Mai 24, 2010 10:38

ça serait bien qu'il fasse aussi la maj sur ce qu'il a déjà dans sa base au lieu d'en rajouter toujours un peu plus !
ça fait des semaines (pour ne pas dire des mois) que je trimbale des urls obsolètes ou je ne sais pas comment il a pu m'en trouver certaines !
Haut
Messages: 15815

Enregistré le: 23 Déc 2003

Message le Lun Mai 24, 2010 10:45

moi ca fait des années, alors que je lui ai balancé du 404, du 410, ... et il s'en fiche royalement ...
Haut
Messages: 3050

Enregistré le: 27 Oct 2006

Message le Lun Mai 24, 2010 11:30

Hawk, c'est mon cas pour tous les articles du blog de waaaouh depuis toujours c'est réellement "instantané" (le temps de valider et de switcher sur google c'est indexé) et pour l'annuaire, ça varie de 5 minutes à 1h30 environs... De même, pour indexweb, j'ai déjà remarqué il y a un bon moment des fiches indexées après seulement quelques petites minutes après avoir été liées en home... (quand je te soumets un site, je surveille forcément quand tu me valides :D)

Mon avis : on obtient ça lorsqu'on a une home qui links très régulièrement des pages de contenus riches et fréquemment (+ieurs fois/jour) mise à jour + une structure très profonde (un annuaire, un blog...). Oui, en fait, pour l'annuaire, au lancement je tentais de valider les sites en instantanés, donc 20 ajouts sur la journée environ et l'indexation était +- dans les 20 minutes en moyenne. Maintenant, je reste parfois jusqu'à 24 heures sans valider et ça a ralenti le temps d'indexation. Je dois parfois attendre + d'une heure...

...D'ailleurs, c'est bon pour nos clients, car j'ai déjà eu quelques retours de gens qui étaient contents d'avoir leur nouveau domaine indexé dans google quelques courtes heures après leur valid. sur l'annuaire...
Haut
Messages: 2820

Enregistré le: 13 Fév 2004

Message le Lun Mai 24, 2010 17:37

Tu n'aurais pas un ping lié à ton flux RSS? Google ne les écoute pas tous, mais quand il les écoute, c'est clair que ça fuse.

D'ailleurs si quelqu'un connaît le(s) critère(s) pour qu'il est écoute...

Jacques.
Haut
Messages: 3050

Enregistré le: 27 Oct 2006

Message le Mar Mai 25, 2010 8:48

+1 pou le Flux RSS, je pense que ça joue ;)
Haut
Messages: 3306

Enregistré le: 2 Juil 2008

Message le Mar Mai 25, 2010 9:05

Le webmestre avait reçu le mail de confirmation ? C'est peut-être simplement lui qui a fait un ping pour faire indexer sa page.
Haut
Messages: 18187

Enregistré le: 23 Fév 2004

Message le Mar Mai 25, 2010 9:59

Le contenu est unique.
Le mail de confirmation n'est envoyé que bien plus tard, donc ce n'est pas ça non plus.

Je n'utilise pas de système de ping. Il n'y a que le flux RSS "basique" et le sitemap XML.

Effectivement ça fait plus d'un an que je constate moi aussi des indexations "rapides" (quelques minutes), mais là... avant même la mise en ligne, c'est assez sympa.

Il est vrai qu'à l'inverse, il désindexe très lentement, même s'il a déjà reçu du 404 et que l'URL sort du sitemap XML :roll:
Haut
Messages: 3050

Enregistré le: 27 Oct 2006

Message le Mar Mai 25, 2010 10:20

Bah ton sitemap est hyper trusté. De base, un wordpress brut de dézippage a déjà cet effet pour certains sites qui sont déjà bien installé. ;)
Haut
Messages: 394

Enregistré le: 16 Mar 2009

Message le Mar Mai 25, 2010 15:36

Hello,

de mon côté, je n'ai pas de sitemap, mais simplement des flux RSS et les indexations sur Google se font beaucoup plus rares... Google ne passe que toutes les 48h ou 72h. Beaucoup disent qu'un sitemap n'est pas forcément obligatoire, mais il n'empêche qu'il semble bien utile dans ces cas d'indexation quasi instantanée.
Haut
Messages: 3050

Enregistré le: 27 Oct 2006

Message le Mar Mai 25, 2010 16:27

Salut Argh
Tu valides combien de fois/jour ? Tu restes des journées entières sans valider ? Ton Flux RSS est linké en Home ?
Haut
Messages: 394

Enregistré le: 16 Mar 2009

Message le Mar Mai 25, 2010 17:05

1-sponsor a écrit:Salut Argh
Tu valides combien de fois/jour ? Tu restes des journées entières sans valider ? Ton Flux RSS est linké en Home ?


Hello,

cela dépend, ça peut aller de 5 ou 6 à 50 - 60 par jour, en fonction du temps que je peux y consacrer. Mon flux RSS n'est pas linké en home par contre. Uniquement sur /dir/ Il m'arrive de ne pas valider pendant une journée, mais en général, ce n'est que le dimanche, et des fois le samedi.
Haut
Messages: 318

Enregistré le: 20 Avr 2007

Message le Mar Juin 01, 2010 21:11

jcaron a écrit:Tu n'aurais pas un ping lié à ton flux RSS? Google ne les écoute pas tous, mais quand il les écoute, c'est clair que ça fuse.

D'ailleurs si quelqu'un connaît le(s) critère(s) pour qu'il est écoute...

Jacques.


Heu? question con, c'est quoi cette histoire de ping ?
Haut
Messages: 2820

Enregistré le: 13 Fév 2004

Message le Mer Juin 02, 2010 1:53

Pour accélérer la diffusion des nouveaux posts sur les moteurs de recherche de blogs etc, il y a un système de "ping" qui permet de notifier les moteurs quand il y a un nouveau post (ce qui permet d'aller lire le flux RSS pour trouver le post en question). En gros, on passe d'un pull à un push (indirect), quoi. Le plus connu (le plus ancien?) est pingomatic.com, mais il y en a d'autres, y compris un directement chez Google si ma mémoire est bonne.

Mais comme c'est trivial à spammer, les moteurs filtrent les "pings" auxquels ils prêtent attention.

Plus d'infos ici: http://en.wikipedia.org/wiki/Ping_(blogging)

Jacques.
Haut
Messages: 263

Enregistré le: 8 Juil 2006

Message le Lun Juin 07, 2010 23:57

Faudrait me dire comment vous faites, car pour moi, sur 84 urls fournies, GWT n'en a indexé que 61 et ce depuis des semaines déjà. Je ne sais plus quoi faire pour qu'il les indexe ces satanées pages. Je suis vener de chez vener.

Par contre, comme le disait je ne sais plus qui sur ce fil, impossible de faire compendre à Google qu'il doit virer les urls périmées malgré un htaccess créé en conséquence.

Si Google était un être humain je lui aurai cassé la gueule depuis très longtemps ... bordel :(

Raaah ça défoule.
Haut
Messages: 18187

Enregistré le: 23 Fév 2004

Message le Mar Juin 08, 2010 0:02

@sleidia: un max de backlinks, une bonne structure de site, des mises à jour constantes... bref du boulot.
Haut
Messages: 3050

Enregistré le: 27 Oct 2006

Message le Mar Juin 08, 2010 0:03

HawkEye a écrit:@sleidia: un max de backlinks, une bonne structure de site, des mises à jour constantes... bref du boulot.


... et de l'ancienneté.

On est pas dans la m*

*mouise !
Haut
Messages: 263

Enregistré le: 8 Juil 2006

Message le Mar Juin 08, 2010 0:09

HawkEye a écrit:@sleidia: un max de backlinks, une bonne structure de site, des mises à jour constantes... bref du boulot.


Le pire c'est que j'ai tout ça. Un PR de 3, un site qui a 8 ans, des pages toutes liées, et mises à jour quasi hebdomadaires et pas mal de backlinks.

Franchement ça me gave là.
Haut
Messages: 18187

Enregistré le: 23 Fév 2004

Message le Mar Juin 08, 2010 0:12

sleidia a écrit:
HawkEye a écrit:@sleidia: un max de backlinks, une bonne structure de site, des mises à jour constantes... bref du boulot.


Le pire c'est que j'ai tout ça. Un PR de 3, un site qui a 8 ans, des pages toutes liées, et mises à jour quasi hebdomadaires et pas mal de backlinks.

Franchement ça me gave là.


Tout ça dans une thématique porteuse ?
Que vaut la concurrence ?

Etre bon ne suffit pas: pour gagner, il faut être le meilleur.
Haut
Messages: 263

Enregistré le: 8 Juil 2006

Message le Mar Juin 08, 2010 0:19

HawkEye a écrit:
sleidia a écrit:
HawkEye a écrit:@sleidia: un max de backlinks, une bonne structure de site, des mises à jour constantes... bref du boulot.


Le pire c'est que j'ai tout ça. Un PR de 3, un site qui a 8 ans, des pages toutes liées, et mises à jour quasi hebdomadaires et pas mal de backlinks.

Franchement ça me gave là.


Tout ça dans une thématique porteuse ?
Que vaut la concurrence ?

Etre bon ne suffit pas: pour gagner, il faut être le meilleur.


Tout ce que je demande c'est que Google fasse son boulot.
Je vois pas en quoi être le "meilleur" peut changer quelque chose.

Google n'est pas foutu de respecter les volontés d'un htaccess tout à fait correct et n'est pas non plus capable d'indexer des pages bien ciblées.

Je sais que ça sert à rien de constructif mais j'ai vraiment la rage là.
Haut
Messages: 3050

Enregistré le: 27 Oct 2006

Message le Mar Juin 08, 2010 0:37

moi aussi j'ai une page qui m'embête depuis des mois riche en contenu unique, linkée de toute page (en interne et en externe)... il l'indexe pas ! mais elle a un passé douloureux cette page... je te parie que changer les urls de tes page réglerrai ton problème, le mien aussi... mais il y a là un manque de logique et je ne l'accepte pas, j'attend que google réévalue la situation de ma page aussi :(
Haut
Messages: 18093

Enregistré le: 10 Juil 2005

Message le Mar Juin 08, 2010 0:41

Et Google il pourrait pas indexer les articles AVANT que je les écrive ? Comme ca je vois ceux qui me rapporteraient le plus, et je pourrais alors les écrire. Non ?
Haut
Messages: 343

Enregistré le: 17 Oct 2008

Message le Jeu Juin 10, 2010 21:30

J'ai remarqué la même chose, mais cela fait un temps qu'on en parle ici et là.
Lorsque sur ton site, cette vitesse d'indexation devient immédiate à la soumission d'un sitemap (une quinzaine de secondes), ça fait vraiment plaisir. Mais faut garder un rythme de publication.
En ce moment, je suis redescendu à 12/24h.

(Ça laisse d'ailleurs à penser que tu as un bon rythme sur ton annuaire.)
Haut
Messages: 688

Enregistré le: 16 Juin 2003

Message le Ven Juin 11, 2010 1:49

artscoop a écrit:J'ai remarqué la même chose, mais cela fait un temps qu'on en parle ici et là.
Lorsque sur ton site, cette vitesse d'indexation devient immédiate à la soumission d'un sitemap (une quinzaine de secondes), ça fait vraiment plaisir. Mais faut garder un rythme de publication.
En ce moment, je suis redescendu à 12/24h.

(Ça laisse d'ailleurs à penser que tu as un bon rythme sur ton annuaire.)


oui le rythme c'est vrai
Haut
Messages: 153

Enregistré le: 11 Fév 2006

Message le Lun Juin 14, 2010 17:28

Je confirme que Google indexe très vite les pages d'IndexWeb.
Je viens d'y inscrire un site client et il est déjà accessible sur google (enfin, la page indexweb, pas le site encore^^)
C'est que Google apprécie ton annuaire :)
Sans aller jusqu'à chercher à expliquer pourquoi ni comment, le plus important c'est que si Google apprécie ton annuaire, les créateurs de site aussi, et ça lui promet une longue vie.
Donc, merci ;)
Haut
Messages: 2

Enregistré le: 6 Juin 2010

Message le Mar Juin 15, 2010 7:24

Bonjour,
Je souhaite savoir comment puis-je indexer mes pages en quelques minutes, car j'en ai pour 24 à 36 heures actuellement....
Haut