Google bloque sur les liens et n'indexe plus

[Wharenn]

Bonjour,

Je poste ici car j'ai relevés des problèmes étranges dans référencement de mon site que je n'arrive pas à expliquer ni à corriger...

Tout d'abord, je tiens à dire que ca fait plus d'un an que j'ai mis en place une stratégie de référencement la plus complète qui soit selon moi :
- Titres, descriptions, mots clés différents et adaptés à chaque page
- Site normé, balisage h1 h2 h3 naturel et logique, lecture avec Lynx sans aucun problème
- Contenu de qualité, régulièrement mis à jour et nombreuses nouveautés
- Sitemaps
- Inscription à des annuaires importants
- Attention particulière aux remarques des Outils pour Webmaster google

Mon problème est le suivant :
Mon site est une sorte d'encyclopédie avec plusieurs milliers d'articles. Chaque article est sur une page avec un titre, description et mots clés qui vont bien avec le sujet. Pour parcourir les articles, j'utilise des listes par catégorie qui varient entre 50 et 200 liens par page avec ou sans images. Tout marchait bien jusqu'à quelques mois car depuis novembre j'ai des problèmes d'indexation pour mes nouveaux articles. Quand j'entre le titre de l'article dans google (qui est souvent le mot clé de l'article en question), google me sort la liste par catégorie ou se trouve l'article mais il ne me sort plus jamais l'article en lui-même. Et depuis novembre, je n'ai plus eu aucun article qui a été véritablement indexé. J'ai l'impression que google s'arrête à la liste et ne suit pas le lien vers l'article. Pourtant je n'ai fais aucune modification depuis ces dates et la profondeur de lien n'est pas énorme : depuis l'index, il faut cliquer 3 fois pour accéder à un article via une liste. Et j'ai également les nouveaux articles affichés quelques temps sur l'index. Quand un article est posté un jour et que je le recherche dans google deux jours après, je tombe sur la page d'index qui contient le mot clé de l'article mais pas sur la page de l'article.

C'est assez particulier comme problème... Est ce que quelqu'un a déjà eu ce genre de chose ou à une idée sur la cause ?


J'ai également un autre problème avec ma sitemap qui n'est indexée qu'à 50% mais d'après ce que j'ai lu ailleurs sur le forum c'est assez fréquent donc je suis soulagé sur ce point.

Merci d'avance de vos réponses.

[Argel75]

Tes liens ne sont pas en Nofollow ?
Ou bien un fichiers Robots.txt qui bloque la visite de tes pages ?

[Wharenn]

Non il n'y a pas de nofollow ni aucun autre attribut sur les liens
Jusque là, j'utilisais une architecture en <table> (oui c'est berk) pour lister les liens. Je viens il y a quelques jours de passer à une architecture plus logique en <ul><li>. Est ce que les tables pourraient être un peu responsable du blocage ?

Quand au robots.txt, je n'en ai pas mis... il me semble que par défaut les bots n'en ont pas besoin non

[Marie-Aude]

le robots.txt est plus défensif qu'autre chose, il permet d'éviter le crawl de certains répertoires.

Tout dépend de la structure de tes urls et catégories, du poids relatif de la page, il y a peut être du duplicate content...

[Wharenn]

Pour mes url, j'utilise de l'url rewriting, elles sont du format www.monsite.com/categorie-nom-de-l-article.html, je pense donc avoir fait le maximum à ce niveau

Pour le poids, j'avais une liste qui reprenait tout les liens vers les articles qui était assez imposante (98ko), que j'ai scindé par lettre. Peut être faut-il que j'attende d'observer les effets de la réduction de la taille ? Si du moins c'était la taille le problème...

[Wharenn]

Trois semaines après me revoila, avec un problème toujours pas solutionné

J'ai mis en place un système de log pour les bots sur mes nouveaux articles et le Voila et Yahoo Bot s'en donnent à coeur joie... mais Google est totalement absent. Pourtant il continue (faiblement) à repasser sur de vieux articles qu'il a déjà indexé. Apparemment les modifications des <table> vers les <ul><li> n'ont rien changé (si ce n'est que je suis satisfait de ce côté).

Sinon j'ai modifié ma sitemap pour lui faire prendre en compte les dates de modification des articles, ce qui a provoqué une chute vertigineuse des urls indexées pendant 2 semaines mais le chiffre est remonté à peu près à son niveau d'avant désormais. Donc pas d'amélioration notable à ce niveau non plus...

Dans les statistiques d'exploration, j'observe une chute complète de l'activité de google bot. En moyenne depuis novembre elle était de 300 pages par jour et là depuis fin janvier, c'est une ligne plate à 13 pages par jour Est ce que ça pourrait être un effet secondaire de la mise en place de mes listes ou du découpage de ma grande liste d'index en une page pour chaque lettre ? J'ai également travaillé sur le poids des pages, pour les rendre plus légères et je note que le temps de téléchargement des pages a sensiblement augmenté depuis ce moment. C'est à ne plus rien y comprendre

J'ai pourtant vérifié les stratégies de référencement sur WRI (et aussi sur d'autres sites bien que l'essentiel soit là ) et je n'ai rien trouvé qui puisse manquer... En même temps pas d'erreurs de parcours du site à part 1 ou 2 pages 404 liés à de vieux links écris sur de vieux forums et quelques meta trop courtes...

Est ce que quelqu'un a également noté une baisse de l'activité du Gbot où c'est uniquement pour moi?

J'y pense à l'instant, je n'utilise pas de balise <p> mais les sauts de paragraphes sont faits par des \n qui sont transformés ensuite en <br>. Est ce que ca pourrait avoir une incidence sur des articles parcourus et qui ne seraient finalement pas indexés ?

Merci d'avance de vos réponses

Edit: pour la chute de l'activité du Gbot, je viens de trouver la réponse : 90plan OVH. Par contre ca ne retire rien à mes problèmes d'indexation récurrents depuis décembre

[simonvd]

hello, j'ai le meme problème que toi pour un de mes sites, d'ou tu tien cette info sur les 90plan OVH ?

sinon je sais pas si c'est déjà fait, mais depuis tes articles qui sont tjs crawler régulièrement met qlq lien (4/5) vers d'autres articles, il les poussera directement et ils auront plus de chance d'être référencer plus vite...

[Wharenn]

Le problème est exposé ici :
http://forum.webrankinfo.com/ovh-90plan-googlebot-again-t106651-75.html