Référencer plusieurs millions de pages

[7804j]

Bonjour,

J'avais créé autrefois le site internet http://www.4chandata.org, une archive publique du célèbre 4chan. Il était extrêmement mal conçu, très moche et bourré de pub (voir http://4chandata.org/x-39 par exemple). Je l'avais créé à la base dans le cadre d'une expérience SEO sur le référencement massif de contenu artificiel. Malgré tout et contre toute attente, il a rapidement dépassé les 500 000 visites par mois et plusieurs millions de pages étaient référencées sur Google.
J'ai donc voulu totalement redévelopper ce site et le rendre un peu plus agréable, un peu plus utilisable et moins bugué. J'ai donc ouvert http://www.4chanarchive.net, et j'ai effectué une redirection permanente de la page d'accueil de 4chandata.org (qui avait un pagerank de 3) vers 4chanarchive.net.

La nouvelle version, 4chanarchive.net, existe désormais depuis plusieurs mois, mais ne fonctionne pas du tout au niveau du référencement. Il a toujours un pagerank inexistant et atteint rarement plus de 20 000 visiteurs par mois via Google (bien sûr, l'ancien site a perdu quasiment tout son trafic...). Mais surtout, sur les presque 2 millions de pages qu'il contient, seules 188 000 existent dans l'index google (https://www.google.ch/search?q=site%3A4chanarchive.net). Quand aux images, sur les 17 millions du site, à peine quelques centaines se trouvent sur Google Images.
Je ne comprends du coup pas du tout comment ce nouveau site peut ne pas fonctionner, alors que l'ancien fonctionnait à merveille. La redirection permanente a pourtant bien été prise en compte par Google, et j'ai tout fait pour optimiser l'arbre de navigation permettant d'accéder à n'importe quelle page profonde en seulement quelques clics. Bien entendu, toutes les pages se trouvent dans le sitemap sur Google Webmaster.

Le fait que les images soient très lourdes et très nombreuses pourrait-il être à l'origine du mauvais fonctionnement de cette version ? Pour comparer : Ancien site : http://4chandata.org/x-39 Nouveau site : http://4chanarchive.net/boards/x/0
En fait, j'ai peur que le fait d'avoir amélioré la qualité de l'archivage ait rendu le site encore plus proche du site original et des autres archives 4chan, rendant le contenu, aux yeux de google, moins original et donc plus artificiel.

Si vous avez une idée/des suggestions concernant ce qui pourrait expliquer une telle différence ou comment faire en sorte que Google référence plus de pages (dans un premier temps, le problème est plus la quantité de pages référencées que la qualité du référencement) et d'images, ce serait très volontiers.

Merci d'avance pour votre réponse.

7804j

 

[Geo2frey]

j'ai effectué une redirection permanente de la page d'accueil de 4chandata.org (qui avait un pagerank de 3) vers 4chanarchive.net.

Pourquoi tu n'as pas mis en ligne ta refonte sur "4chandata.org" ?
Il aurait je pense fallu faire ça.

Si tu passes de 500 000 visiteurs/mois à 20 000 c'est qu'il y a un sérieux PB comme tu l'a constaté.

Est ce que tu as utilisé des outils de crawl pour voir si le robots de GG ne serait pas bloqué ?
Que te dit GWT ?

++

 

[7804j]

Principalement pour deux raisons :
- Je souhaitais changer le nom du site
- Je souhaitais conserver les pages internes de l'ancien site. C'est pour ça que je n'ai redirigé que la page d'accueil, étant donné que les pages internes contiennent du contenu qu'on ne retrouve pas forcément sur la nouvelle version

Je suspecte donc que cette deuxième raison soit la cause du problème. Est-ce que le fait de n'avoir redirigé que la page d'accueil pourrait avoir donné un "signal" à Google qu'il ne s'agit pas du même site, et donc qu'il ne mérite pas le référencement de l'ancien ? Dans tous les cas, il est très étrange que 4chanarchive.net n'ait toujours pas ne serait-ce qu'un pagerank de 0 ou de 1 (je le rappelle, il devrait être de 3) :/

Google Webmaster ne rapporte aucun problème. Je peux fournir toutes les captures d'écran ou autres éléments potentiellement utiles si tu souhaites savoir qqch sur la configuration du site.

 

[Geo2frey]

Si tu as redirigé seulement la page d'accueil et aucune autre page, tu repars presque de zéro avec ton nouveau site.
En plus je ne pense pas que Google ait apprécié que tu ne redirige que l'index de ton ancien site (j ai pas de preuve par contre, tu peux jeter un oeil dans l aide webmaster tools).
C'est peut etre pour ca que ton ancien site a baissé aussi en ref.

Ton nouveau site à 2 000 000 de pages. Ce n'est pas rien. Même avec une bonne arbo, les crawler de Google passent dessus mais ne vont pas tout explorer du jour au lendemain.

Utiliser un logiciel de crawl genre screaming frog sur un echantillon pour voir s'il n'y a pas de blocage.
assure toi que tes pages ne sont pas trop longues à charger
fais un max de backlink vers tes pages profondes mais bon avec 2 millions de pages ca sera pas un levier puissant

Après j'ai jamais taffé sur des sites avec 2 millions de page. A chaque refonte je garde le même NDD et fait des 301 si besoin.

 

[bushi893]

je crois que google penalise les sites qui ont subitement pleins de nouveaux liens (>1000), je ne connais pas la limite mais plusieurs referenceurs m ont dit ca, c est pourquoi je n ai jamais decide de changer de domaine.

apres de memoire, je crois qu il y a qlq chose dans google webmaster pour migrer d un domaine a un autre, j avais vu ca il y a quelques annees deja, je ne sais pas trop ce que ca vaut, je n ai pas tente au final

 

[Geo2frey]

je crois que google penalise les sites qui ont subitement pleins de nouveaux liens (>1000), je ne connais pas la limite mais plusieurs referenceurs m ont dit ca, c est pourquoi je n ai jamais decide de changer de domaine.

Peux tu préciser et donner ta source ?

apres de memoire, je crois qu il y a qlq chose dans google webmaster pour migrer d un domaine a un autre, j avais vu ca il y a quelques annees deja, je ne sais pas trop ce que ca vaut, je n ai pas tente au final

Oui, il faut aller dans Google Webmaster Tools et cliquer sur la petite roue dentée. Il est ensuite proposé "Changement d'adresse"

 

[7804j]

Oui, il faut aller dans Google Webmaster Tools et cliquer sur la petite roue dentée. Il est ensuite proposé "Changement d'adresse"

Merci beaucoup ! Je ne connaissais pas cette fonctionnalité, et c'est peut-être à cause de ça...

Malheureusement, lorsque j'utilise l'outil, je reçois ce message d'erreur : "Échec de la redirection 301. Nous avons détecté que l'adresse racine de votre ancien site (4chandata.org) ne redirige pas encore vers l'adresse racine de votre nouveau site (4chanarchive.net)."

Pourtant, l'entête http contient effectivement une redirection 301, et mon fichier index.php de 4chandata ne contient que deux lignes :
header("HTTP/1.1 301 Moved Permanently");
header("Location: http://4chanarchive.net");

Comment est-ce possible et que faire ???

 

[HawkEye]

je crois que google penalise les sites qui ont subitement pleins de nouveaux liens (>1000), je ne connais pas la limite mais plusieurs referenceurs m ont dit ca, c est pourquoi je n ai jamais decide de changer de domaine.

Peux tu préciser et donner ta source ?

Il n'y a pas de source: c'est une affirmation basée sur une information incomplète.

"1000 liens", ça ne veut rien dire.
Donne-moi "1000 liens" de sites de très bonne réputation, dans ma thématique... je les prends.
Donne-moi "1000 liens" pourris, je n'en veux pas même si tu me payes.

"1000 liens", ce n'est pas une valeur repère...
1000 nouveaux IBLs pour un site parfaitement inconnu, c'est "atypique", donc à risque - ce qui ne signifie pas ipso facto "pénalité".
1000 nouveaux IBLs pour amazon.com, c'est 0,0006% du volume existant... soit encore moins que négligeable.

Chaque cas est différent.

 

[Geo2frey]

1) Quel est le code de redirection que tu as mis dans ton htaccess ?
2) Il se peut que les infos de GG dans GWT ne soient pas à jour (mais j'ai du mal à y croire)

 

[7804j]

1) Quel est le code de redirection que tu as mis dans ton htaccess ?
2) Il se peut que les infos de GG dans GWT ne soient pas à jour (mais j'ai du mal à y croire)

Je n'ai pas de redirection .htaccess puisque, comme je l'ai dit, j'ai utilisé du php pour modifier les headers de mon index.php (cf mon message juste au-dessus). De toute façon, les headers du site sont publics, donc normalement tu devrais pouvoir les voir. Je les ai d'ailleurs checké et je ne vois pas de problème non plus, donc c'est assez bizarre :/

 

[UsagiYojimbo]

Je pense clairement qu'en ne redirigeant que la home, tu as opté pour une très mauvaise stratégie, et que tu coup tu n'as pas récupéré sur le nouveau site la popularité de l'ancien. Du coup, forcément, ça ne fonctionne pas aussi bien. Quant au PR, ça fait des mois qu'il n'a plus été mis à jour (et des années qu'on répète que ce n'est pas l'indicateur absolu, il faut éviter de se bloquer là-dessus).

 

[7804j]

Ca ne répond pas à la question de pourquoi la redirection manuelle sur Google Webmaster ne fonctionne pas :/

C'est totalement faux de dire que le pagerank n'a pas été mis à jour. Récemment, plusieurs de mes autres sites ont vu leur pagerank modifié. Et bien qu'il ne soit pas un indicateur absolu, il s'avère très utile malgré tout.

 

[MickaëlC2]

Pourquoi ne pas retirer ta redirection 301 pour voir si ton ancien site reprend ses 500000 visiteurs par mois?

dans un deuxieme temps si ton traffic est revenu tu fais des redirections 301 page a page de l'ensemble du site ancien vers le nouveau.

 

[7804j]

J'ai supprimé la redirection 301 mais pour l'instant je ne constate pas de retour à la situation initiale :/

 

[lagzor]

Bonjour,

J'ai suivi avec attention votre histoire et cela m'intéresse beaucoup.

Il n'est pas logique de rediriger seulement la page d'accueil d'un site, même si c'est celui qui contient les backlinks. En effet, il aurait fallu reprendre toutes les pages pour les mettre sur le nouveau site.

Concernant le pagerank, en effet il existe d'autres indicateur comme l'alexa rank ou le trust rank. Mais je pense que ce chiffre compte encore dans le positionnement d'un site. Mais qu'en est-il avec le nofollow maintenant ...

Qu'en est-il aujourd'hui de l'ancien site ? Je ne pense pas qu'il reprendra son ancien trafic, car ce que tu as fait peut être considéré comme une triche pour Google...