Visites googlebot, robots.txt et nb de hits
3 messages • Page 1 sur 1
Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics
Visites googlebot, robots.txt et nb de hits
Salut à tous !
Googlebot est passé (pour la première fois sur mon site tout neuf
), mais il n'a fait que très peu de hits à chaque fois (2-3), mais les crawl1,2 3 etc.. sont passés. Est-ce normal ?
De plus j'ai mis dans mon robots.txt des lignes lui interdisant certaines adresses "mailto" que j'ai cryptées en caractères ascii (code "" + n° de caractère) afin d'éviter le spam par scan automatique des balises "mailto".
ce qui fait un truc du style : (sans les espaces que j'ai ajoutés ici)
Disallow: / 109; 97;...
Disallow: /fr/ 109; 97;...
etc...
J'ai fait ça pour lui éviter de trouver des liens morts (puisque j'ai cru comprendre qu'il aime pas ça), quand il va chercher à suivre une URL du type : 109; 97... Mais du coup je sais pas si c'est très bon de mettre ça dans le robots.txt..
Y a-t-il un lien de cause à effet ?
Est-ce que googlebot va mieux aspirer le site dans le futur ?
Est-ce que je me suis trop pris la tête avec ces balises mailto ?
Quelqu'un aurait-il une bonne recette de poulet basquaise ?
oups je m'égare, merci pour vos réponses !
fab
Googlebot est passé (pour la première fois sur mon site tout neuf
De plus j'ai mis dans mon robots.txt des lignes lui interdisant certaines adresses "mailto" que j'ai cryptées en caractères ascii (code "" + n° de caractère) afin d'éviter le spam par scan automatique des balises "mailto".
ce qui fait un truc du style : (sans les espaces que j'ai ajoutés ici)
Disallow: / 109; 97;...
Disallow: /fr/ 109; 97;...
etc...
J'ai fait ça pour lui éviter de trouver des liens morts (puisque j'ai cru comprendre qu'il aime pas ça), quand il va chercher à suivre une URL du type : 109; 97... Mais du coup je sais pas si c'est très bon de mettre ça dans le robots.txt..
Y a-t-il un lien de cause à effet ?
Est-ce que googlebot va mieux aspirer le site dans le futur ?
Est-ce que je me suis trop pris la tête avec ces balises mailto ?
Quelqu'un aurait-il une bonne recette de poulet basquaise ?
oups je m'égare, merci pour vos réponses !
fab
Cela ne me semble pas une excellente technique pour eviter de te faire crawler tes mails de codées en ascii les caractere speciaux de ton mail to.. En effet un bon crawler de mail ne devrait pas planter sur ce genre de piege.
Pourquoi ne fait tu pas une page avec un formulaire de Contact en php ? C'est la seul facon de vraiment protégé tes e-mails.
Quand au robots.txt j'ai un doute quand à la validité des
Pourquoi ne fait tu pas une page avec un formulaire de Contact en php ? C'est la seul facon de vraiment protégé tes e-mails.
Quand au robots.txt j'ai un doute quand à la validité des
. On à le droit aux caractéres speciaux come ca ?Disallow: / 109; 97;...
Bin en fait pour le codage des mails j'avais vu ça ici :
http://www.crans.ens-cachan.fr/~raffo/antispam/aem/#fra
Et j'avais trouvé que c'était une alternative intéressante au PHP pour ceux qui veulent utiliser leur logiciel mail.
J'ai viré le robots.txt du serveur, et apparemment au niveau du comportement de googlebot ça a pas l'air de changer grand chose.
J'avais aussi vu dans mes stats que googlebot cherchait à accéder aux pages / 109; 97;... ce qui me faisait des erreurs 404, mais bon...
fab
http://www.crans.ens-cachan.fr/~raffo/antispam/aem/#fra
Et j'avais trouvé que c'était une alternative intéressante au PHP pour ceux qui veulent utiliser leur logiciel mail.
J'ai viré le robots.txt du serveur, et apparemment au niveau du comportement de googlebot ça a pas l'air de changer grand chose.
J'avais aussi vu dans mes stats que googlebot cherchait à accéder aux pages / 109; 97;... ce qui me faisait des erreurs 404, mais bon...
fab
3 messages • Page 1 sur 1
Formation recommandée sur ce thème :
Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Etude de Googlebot, le robot crawler de Google (Fresh Bot, Deep Bot)
- Les adresses IP de Google et Googlebot
- Etude de Googlebot, le robot d'indexation de Google
- Googlebot, le robot d'indexation de Google
- La danse de Googlebot :-) La Google Dance
- GoogleStats : analyse temps réel des visites de Google sur votre site
- Sortie de GoogleStats v2.01
- La vie d'une page sur le web : Fresh Crawl, Deep Crawl, Google Dance
- Googlebot analyse certains codes JavaScript
- Aux USA, Gmail dépasse YouTube en nombre de visiteurs
Consultez la description détaillée des produits ou services de Google suivants : Googlebot
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités


le forum