Deep crawl de google aux USA

[Cendrillon]

compltement blacklisté je ne penses pas ...
pénalisé oui ... sinon comment saurait il quand la pénalisation peut être levée ...

[angelus_2]

a ma connaissance oui, il continue à indexer ton site mais ne prend pas en compte l'indexation ni le cache

correction: je parle effectivement d'un site pénalisé (généralement il ne reste que l'url), et la pénalité peut durer plusieurs semaines

c'est seulement dans ce cas que tu te fais indexé comme si de rien n'étais

si tu es blacklisté , tu n'apparait plus du tout

[Smarties]

Je voulais souligner quelque chose que j'ai remarqué avec google.

Lors d'indexation de nouvelles pages, bien souvent pendant quelques jours voir plusieurs semaines, seul l'url est indexé et non le contenu.

Cela est nullement lié a une pénalité mais simplement du au fait que google indexe l'url puis il lui faut un temps de 'vérification' pour complètement intégrer le contenu dans son index.

[PyRoFLo]

Si tu parles de "nouvelles" pages en désignant les pages d'un site tout neuf, je confirme.

En revanche, je n'ai pas du tout constaté de telles choses pour des nouvelles pages sur un site déjà indexé.

Il suffit de mettre un lien sur l'index du site, et 2 ou 3 jours après Google visitera la nouvelle page.
A J + 2, la page est présente dans l'index soit un délai d'environ 5 jours pour l'indexation d'une nouvelle page d'un site indexé

Je ne parle que de mon site...

[angelus_2]

je confirme aussi, si il s'agit d'un nouveau site, il n'y a que l'url dans un premier temps

par contre si le site avait deja eu une description et un titre, et que désormais plus rien
il peut s'agir soit d"une pénalité, ou d'un serveur indisponible

le mieux est d'attendre, si le robot passe de nouveau et rien de changer dans les 24 heures alors il s'agit bien d'une pénalité, le mieux est de rien faire et d'attendre, tout redeviendra normale (à condition de virer tout ce qui va pas)

[didjiridou]

j'ai remarqué ca également, enfin, disons que moi, mes sites sont généralement indexé rapidement, ils restent nickel dans Google pendant 1 bonne semaine, mais ensuite, mes pages perdent leur description pendant quelques jours...

Ensuite, ils sont indexés pour de bons et ne quittent plus le moteur de recherche

[marphi]

question de débutant... :
comment faites vous, ou quel log utilisez vous pour savoir que google "indexe de fond en comble" (sic) ou encore "à visiter plus de 300 pages" (sic), etc... ?
merci de la réponse

[Oncle Tom]

question de débutant... :
comment faites vous, ou quel log utilisez vous pour savoir que google "indexe de fond en comble" (sic) ou encore "à visiter plus de 300 pages" (sic), etc... ?
merci de la réponse

Robostats

[marphi]

merci

[Bat]

Robostats

Hello,

Autre question qui peut paraître simpliste : on est obligé d'avoir un site en php pour utiliser robotstats non ? si oui, comment est-il possible d'analyser les logs sur un site ne comportant que des pages html ?

merci !

[marphi]

j' allais faire la même question !!!! mes sites sont en html et j'ai pas trop envie de changer l'extension de toutes les pages....(450!)

[Oncle Tom]

Ben à moins que vous connaissiez un moyen pour inclure du php dans du HTML je vois mal comment vous allez faire
Sinon vous ne pouvez pas malheureusement (sauf si on me contredit mais bon ...).

[Yo@nn]

Robostats

Hello,

Autre question qui peut paraître simpliste : on est obligé d'avoir un site en php pour utiliser robotstats non ? si oui, comment est-il possible d'analyser les logs sur un site ne comportant que des pages html ?

merci !

En disant à ton serveur que les fichiers html sont du php, grâce à ton fichier .htaccess.

<FilesMatch "^(html)$">
ForceType application/x-httpd-php
<FilesMatch>

Ca devrait fonctionner

[PwetPwet]

coucou jolie smarties, vive le quebec bienvenue sur WRI

[squawk]

Le topic parlait de deep crawl, j'ai battu mon record aujourd'hui avec plus de 2000 visites de googlebot enregistrée