Indexation d'un site après suppression d'un disallow?

[flyeric]

Bonjour à tous,

je me trouve confronté à un petit problème (pour l'instant), car je viens peut-être de prendre une mauvaise habitude et je m'explique.

j'avais lu il y a assez longtemps qu'il ne fallait pas mettre de page "en construction" pendant le développement d'un site.

avant d'avoir lu ça, je ne touchait à rien dans la page affichée par ovh (puisqu'il s'agit d'ovh) mais je ne sais pas pourquoi, j'ai donc essayé un "disallow:/" afin donc, d'interdir le référencement d'une page "en construction" associée à mon site, ce qui à première vue semblerait logique.

d'après mes propres constatations et pour mes sites dans lesquels je n'ajoutais pas de "disallow:/", entre le moment où je méttais le site en ligne et le moment où google l'indexait dans ses résultats, il s'écoulait en général 3 jours.
j'ai lu aujourd'hui encore, sur divers sites (français, anglais) que le temps d'indexation d'un nouveau site (à partir du moment où il respecte les règles basiques du référencement) est de 1 à 5 jours.

mon souci est que pour la première fois, j'en suis à 6 jours et mon site n'est toujours pas indexé par google.7
on est bien d'accord, je ne parle pas d'être en 1000ième page, le site n'est pas du tout indexé, il n'erxiste pas.

je précise que la directive "disallow:/" dans le robots.txt n'est restée qu'environ une semaine.
dès que j'ai eu mis le site en ligne, j'ai supprimé le fichier robots.txt.

est-ce que google quand il voit un "disallow:/" se dit:

je vois un disallow, donc je reviens dans 15 jours.

donc est-ce qu'après un disallow, google se donne un temps avant de recrawler ou trouvez-vous normal qu'après 6 jours je ne sois toujours pas indexé?

merci à tous et merci pour votre savoir/retour d'expérience.

bonne matinée!

 

[Koxin-L.fr]

Bonjour,

Tu as répondu...

GG cherche des pages... il en trouve, il les indexe le plus rapidement possible, c'est sont fond de commerce.
Lorsqu'il tombe sur un disallow, il ce dit :
GG : "Pas la peine de dépenser de l'énergie à visiter les pages disallow... J'y reviendrais quand j'aurais le temps ou si on insiste pour que j'y ailles."

Donc, comme toujours, on ne propose pas de pages en construction à GG, mais surtout, on ne met pas en ligne d'url de page en construction.
Tout ce qui est "en construction" se doit d'être "Off Line".

Rod

 

[flyeric]

Bonjour Rod et bonjour à tous,

merci mille fois pour les précisions.

mais surtout, on ne met pas en ligne d'url de page en construction.

je n'avais pas créé une page en construction, par défaut ovh lors de la souscription à un hébergement affiche une page "en construction". la page classique "en construction" ovh.
d'ailleurs ovh fait-il une erreur alors en affichant une page en construction ou google sait que c'est une page ovh temporaire et qu'il devra revenir plus vite que lors d'un disallow?
je n'avais donc pas créé une page spéciale, on est ok là dessus, j'ai simplement pendant une semaine rajouté la directive "disallow:/" que j'ai enlevée une fois le site en ligne. ça n'a donc duré qu'une semaine.

alors 2 autres questions si vous le permettez:

1) combien de temps attend-on en moyenne après suppression d'un disallow?

2)

ou si on insiste pour que j'y ailles.

prend-on un risque à insister? insister ça veut un peu dire "forcer" google pourrait-il ne pas aimer?

merci à toi Rod et merci à tous.

 

[flyeric]

j'ai fait une erreur, j'ai amalgamé 2 sites, je m'explique.

le site dont je parle avait bien un "disallow:/" depuis la mise en ligne.

j'ai laissé le site en ligne avec le disallow pendant 2 semaines. je l'ai laissé comme ça car je n'avais pas fait le travail d'optimisation sur le code et n'avais pas encore choisi la cible de référencement.

au bout de 15 jours, une fois tout ça fait, j'ai enlevé le fichier robots.txt et donc, par la même occasion autorisé l'indexage.

et à partir de là, j'en reviens donc aux 2 questions posées juste au dessus sur le post précédent.

pour finir, une dernière question (d'où mon amalgame), j'ai un nom de domaine "monSite.com" avec un hébergment sur ovh.
la page d'accueil de "monSite.com" est donc comme d'habitude et comme évoqué plus "en construction", puisque c'estr la page naturelle créée par ovh tant qu'il n'y a pas de site dessus.
j'ai donc, et durant une semaine, mis un "disallow:/" sur cette page que je viens de supprimer ce matin même.

vu que le site n'est pas encore en ligne, vu que c'est toujours la page "en construction" ovh, google aura-t-il tenu compte de mon disallow ou n'en aura-t-il pas tenu compte du fait que se soit la page ovh?

j'espère que j'ai été clair?

encore merci à vous et je vous souhaite toujours une bonne matinée.

 

[zeb]

je précise que la directive "disallow:/" dans le robots.txt n'est restée qu'environ une semaine.
dès que j'ai eu mis le site en ligne, j'ai supprimé le fichier robots.txt.

Attention virer le fichier conduit a une 404 (qui peut avoir 1000 raisons) mettre un robots.txt vide est une démarche bien plus pertinentes si tu souhaite qu'un changement interne a ce fichier soit pris en compte. Dans la cas de la suppression le résultat du crawl de ce fichier ne permet pas de savoir si il a été modifié ou si il y a un souci avec ce fichier... :wink:

Sinon je ne voie pas trop pourquoi tu te prend la tête avec cette histoire, une page ovh n'a quasiment aucune chance d'être indexée si elle n'a pas de liens donc gérer les moteurs a ce stade n'est pas forcement pertinent. Perso je ne fait rien et quand le site est prêt, je met en ligne. Si le domaine a été crawlé alors le changement est tout bénéfice pour toi si il ne l'a pas été ça change rien.

Le mieux est souvent l'ennemi du bien.

 

[flyeric]

Bonjour Zeb,

merci beaucoup pour les informations.

ça semble rassurant.

euh concerant le robots.txt quand tu dis vide, c'est complètement vide ou alors avec juste ça:

User-agent:*

et connais-tu le temp avant qu'un crawler repasse après un disallow?

merci et bonne matinée.

 

[zeb]

Vide de chez vide, même pas une ligne ou un octet de données. Si tu n'a rien a bloquer tu upload un truc sans rien dedans GG le lira n'y verra rien et traitera ton site comme si il avait les blancs ....

 

[zeb]

et connais-tu le temp avant qu'un crawler repasse après un disallow ?

Ping la home page avec pingomatic quand le site est OK le crawl est instantané ou presque, maintenant l'indexation et la position c'est plus tard et ça dépend de plein de facteurs.

 

[flyeric]

merci, merci beaucoup pour ces réponses rapides.

je vais tout de suite vider complètement le robots.txt.

pour finir, et merci de ta patience, le jour où j'ai supprimé le disallow, j'ai en même temps ajouté le code de suivi GA.
j'ai donc vu dans les stats une ligne google organic.

ce google organic veut dire que le site a été crawler.

mais crawler pour des vérifications GA ou crawler pour l'indexation?

parceque ça fait 6 jours et que normalement le site devrait être indexé, sauf si j'en reviens au problème qui est le sujet de mon post.

merci à toi ainsi qu'à tous.

 

[zeb]

mais crawler pour des vérifications GA ou crawler pour l'indexation?

Pour les deux, le crawl de vérification va immanquablement déclencher le crawl d'indexation après la prise en compte du robots.txt qui est très fréquente (GG le consulte presque tous les jours chez moi, en fait je suis crawlé a hauteur de 10000 pages par jour avec une IP précise a chaque fois et il lit le robots.txt pour voir si il y a du changement)

Il faut que tu pense que les premiers crawls sont un peut particuliers car il doit analyser ton contenu pour le placer. langue du site, contenu relatif à, ... ça prend du temps. Plus le site est gros plus ça peut prendre du temps. attendre une semaine ou deux pour voir le site commencer a se positionner est normal. Savoir qu'un mois ou deux plus tard il va plonger est normal aussi (prime de fraicheur)

Bref il ne faut pas s'affoler et bien observer les premiers retours (keywords détectés et placés) pour corriger le tir au fil du temps tout en construisant le plan SEO qui va suivre pour bien positionner / repositionner le site en fonction des premiers résultats (prend note de ce qui marche (keyword) pour ton site au début car c'est très révélateur de ce que google pense comprendre de ton site qui n'est pas forcement ce que tu a voulu lui faire comprendre).

 

[flyeric]

une fois de plus, merci Zeb.

merci pour tes infos et conseils.

Il faut que tu pense que les premiers crawls sont un peut particuliers car il doit analyser ton contenu... Plus le site est gros plus ça peut prendre du temps...

le jour où j'ai lancé (il y a donc 6 jours) le site officiellement pour google, j'ai donc ajouté le code analytics et supprimé le robots.txt.
ça fait 6 jours, et là on parle d'un minimaliste pour un resto, un site on ne peut plus simple de 4 pages. donc si je suis ton raisonnement et je vais récapituler précisémment:

1) j'ai mis le site en ligne le 15 juin avec un "disallow:/" dans robots.txt

2) le 14 juillet j'ai créé un compte GA, j'ai incorporé le code GA et ai supprimé le robots.txt

3) le 15 juillet j'ai vu dans GA que google organic avait crawlé les 4 pages.

4) le 20 juillet il n'y a toujours rien en terme d'indexation, je répète, ce n'est pas que je suis en page 100 ou 1000, google n'a pas indexé le site.

5) le 20 juillet après tes conseil, j'ai remis robots.txt en l'ayant complètement vidé.


est-ce que le point 5) va changer quelque chose, mais je m'étonne un peu de ne toujours pas être indexé, même en page 1000.

est-ce normal?

merci et bonne fin d'ap à tous.

 

[Koxin-L.fr]

la page classique "en construction" ovh.

OVH, c'est de la merde Dsl, mais c'est mon avis sur 15 ans d'exp web. jamais vu une boite avec autant de soucis récurent et de foutage de gueule de ses clients en mutu...
OVH colle des pages en construction sur tout hébergement prix, ça lui fait des BL et de la pub pour tout ndd associé à un hébergement qui n’est pas utilisé et à ceux qui sont en attente de site.

De toute façon, on évite de prendre un hébergement associé au ndd lorsque le site n'est pas opérationnel, ça évite ce genre de pb.
On prend un ndd et on ne lui adresse aucun dns. Ca règle les problèmes d'indexation de pages vide, en construction ou faisant la pub de l'hébergeur.

alors 2 autres questions si vous le permettez:

1) combien de temps attend-on en moyenne après suppression d'un disallow?

C'est la même chose que le temps de refroidissement du fut du canon de Fernand Raynaud

"forcer" google pourrait-il ne pas aimer?

Non, justement, il faut lui faire sauté son marqueur "page non accessible".
Et pour cela, multiplier les portes d'entrées (BL).

Rod

 

[flyeric]

Merci beaucoup Rod.

explication claire pour les dns. bien vu d'ailleurs!

Non, justement, il faut lui faire sauté son marqueur "page non accessible"

et en dehors des backlinks, comment lui signale-t-on que le site est accéssible?

merci à toi ainsi qu'à tous.

 

[zeb]

et en dehors des backlinks, comment lui signale-t-on que le site est accéssible?

le ping est une des méthodes possibles.

mais je m'étonne un peu de ne toujours pas être indexé

la commande site:www.example.com ne te renvoie rien dans GG ? si oui tu n'est pas indexé si non c'est juste que tu n'est pas encore positionné.

éventuellement si ce n'est pas secret tu peux donner ici l'url de ton site qu'on voie un peu de quoi il en retourne ou par mp si tu veux le garder confidentiel. De plus on pourra peut être te donner deux trois pistes pour trouver de bons BL histoire de lancer la machine.

 

[flyeric]

oui ça y est, c'est bon.

la commande fonctionne.

merci beaucoup et bonne soirée.