yahoo slurp comment faire?

[laurent683]

Bonjour à tous!

Mon site est récent (15 jours) je l'ai inscrit chez Dmoz, google, Yahoo et autres...


Le robot de Google "Googlebot" passe régulièrement depuis trois - quatre jours et fait 451 Hits et 17.82 Mo de Bande passante.

Alors que celui de Yahoo "Yahoo Slurp" ne fait que 2 Hits et 0 Mode Bande passante.

Que faire? Faut-il un fichier robots.txt? (car là j'ai remarqué Hits en échec pour l'erreur 404 de 9 fois)

Merci par-avance pour votre aide!

Cordialement,
Laurent.

[Kekoah]

Google aime bien être le premier, il arrive sur ton site il fait "yeahhh!!! I am first !" Tout content, il fait son petit chemin sur ton site comme un fou mais son côté passionné fait qu'il t'abandonnera de temps à autre comme une vieille chaussette.
Les autres sont un peu plus couillon et plus lents à réagir, ils se disent "j'y vais, j'y vais pas?" et puis ils voient sur leur route des liens qui pointent vers ton site et se disent qu'ils commenceraient peut-être une relation avec toi.

Bon bref. Attendre et continuer ton référencement (partenariats, annuaires, ...)
Un robot txt ou non, Yahoo et autres finiront par y arriver mais avoir un robot txt permet d'éviter les hits en échec inutile qui consomment un peu ta bande

[laurent683]

Merci pour ta réponse!

Je vais donc un peu attendre et mettre un robot.txt en place.
Que me conseil tu en matière de robot.txt (codes, fonctions...)

Cordialement,
Laurent

[toniok05]

Laurent,
On t'apprendra rien en te disant que tu n'as qu'à taper robots.txt dans Google par exemple pour trouver des bonnes infos.

J'avais procédé de la sorte pour créer mon premier fichier robots.txt.
La syntaxe est relativement simple, tu verras.

Je viens de retrouver une FAQ WRI sur le sujet, de quoi te faire la main : http://www.webrankinfo.com/outils/robots/faq_15_0.htm

Tu trouveras aussi l'encyclopédie des robots, faite par un membre WRI : http://www.annuaire-info.com/robots.html

Et puis tant que tu y es, jette un coup d'oeil à la balise META ROBOTS : http://www.webrankinfo.com/outils/robots/faq_16_0.htm

Demande si tu as besoin d'aide

[laurent683]

Merci beaucoup!

Je vais donc me documenter.

Voici mes dernières stats:

7 robots différents
* Hits Bande passante Dernière visite
Googlebot 475 18.74 Mo 20 Fév 2007 - 19:33
Yahoo Slurp 37 1.22 Mo 20 Fév 2007 - 19:55
Unknown robot (identified by 'crawl') 5 325.27 Ko 19 Fév 2007 - 06:41
AskJeeves 1 39.66 Ko 19 Fév 2007 - 11:57
Alexa (IA Archiver) 1 39.68 Ko 20 Fév 2007 - 04:04
Unknown robot (identified by 'robot') 1 39.29 Ko 16 Fév 2007 - 02:02
Voila 1 39.68 Ko 20 Fév 2007 - 17:51


Mon site est visible chez google en tant que liens chez d'autres site, mais mon site lui-même n'est pour le moment pas répertorié.. normal?

[passion]

Te prend la tête avec ça.....il y a deux régles à respecter:
1-Se référencer dans les annuaires à gros traffic (si possible) pour accélerer ton indexation
2-Ne pas utiliser de méthodes douteuses aux yeux des bots, et ils viendront tranquillement mais assurement!!

Je ne connais pas ton site mais si tu as beaucoup de pages, je te conseilles yahooExplorer qui est trés rapide pour indexer tes pages!! (beaucoup plus rapide que son confrère GG)

[laurent683]

OK et merci!

Je vais donc continuer mon travail d'indexation.

J'essaye de trouver les annuaires les plus fréquentés. Je travaille aussi beaucoupo sur les backlinks. J'optimise mes densité de mots-clés, mes Alt tags, mes métas tags, etc ...

Je voudrais arriver au même résultat qu'avec mon dernier site, c'est à dire un PR de 5 en enirons 6 mois à 8 mois.

C'est tu as de bonnes adresses pour annuaires à gros traffic, je suis preneur!

Cordialement
Laurent

Mon site: www.inhttp://www.in-texture.com

[laurent683]

Désolé pour mes fautes .. je suis fatigué là! Pardon.


... Je travaille aussi beaucoup sur les backlinks. ...

Je voudrais arriver au même résultat qu'avec mon dernier site, c'est à dire un PR de 5 sur 10, en 6 mois à 8 mois environs.

http://www.in-texture.com


Cordialement
Laurent

[stoff]

Personnellement c'est plutot le contraire, yahoo slurp enormement, mais alors google... je crois qu'il est en greve par chez moi

[passion]

Pour connaitre les annuaires le plus succeptible de te ramener du traffic, tu fais:
UnMotClé + annuaire
Et le moteur de recherche va te sortir tous les annuaires ciblés sur ta thématique
Fais-le sur GG, Yahoo et Live(msn)...et essayes de te référencer sur la page qui t'a amené à cet annuaire.....voilà !

P.S: Le PR n'est pas un indice de qualité (traffic)

[laurent683]

Merci pour ta réponse!

Pour ce qui est du PR en effet c'est indice de traffic mais un indice appréciable et demandé.

[toniok05]

Pour répondre au commentaire de passion qui te dit de ne pas te prendre la tete avec les robots.txt :

Il est évident que ce n'est pas la présence du robots.txt qui va garantir l'indexation de ton site dans les différents moteurs.

Simplement, cela te permet de vérifier, selon la solution de stats dont tu disposes, que le fichier robots.txt a bien été hité par les crawlers, et combien de fois.

Aussi, ça te permettra à l'avenir d'empecher l'indexation de certaines parties du site : pages spécifiques, répertoires...

Pour répondre à ta question :

Mon site est visible chez google en tant que liens chez d'autres site, mais mon site lui-même n'est pour le moment pas répertorié.. normal?

En tapant dans Google la commande site:in-texture.com, tu verras que ton site est indexé par Google. Si ta stratégie d'optimisation est bonne, il ne tardera pas à apparaitre dans les résultats, le temps que les datacenters soient à jour.