nouveau bot: FaxoBot
5 messages • Page 1 sur 1
Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics
-

cyberghostjp - WRInaute passionné

- Messages: 505
- Inscription: Dim Fév 29, 2004 23:13
200.000.000 de pages ... va falloir qu'il bosse dur le petit bot 
Je l'ai depuis septembre sur un site hébergé aux US avec l'IP 69.150.86.179 et depuis fin octobre avec l'IP 68.91.215.101 sur des sites en France
Il ne demande pas toujours le fichier robots.txt et quand il le demande c'est aprés avoir demandé la racine; certains le considérent comme un bad bot :
http://www.webmasterworld.com/forum11/2527.htm
Je vais faire une essai pour voir s'il respecte le robots.txt...
Il ne demande pas toujours le fichier robots.txt et quand il le demande c'est aprés avoir demandé la racine; certains le considérent comme un bad bot :
http://www.webmasterworld.com/forum11/2527.htm
Je vais faire une essai pour voir s'il respecte le robots.txt...
5 messages • Page 1 sur 1
Formation recommandée sur ce thème :
Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Etude de Googlebot, le robot crawler de Google (Fresh Bot, Deep Bot)
- Mise à jour de Google Images (Juillet 2006)
- Mise à jour de Google Images (16/04/2006)
- Google crawle les fichiers CSS
- Google ouvre un nouveau bureau à New-York
- Google se cherche un nouveau logo ?
- Lancement du nouveau chat de WebRankInfo
- Google va ouvrir un nouveau bureau dans le Michigan
- Tout savoir sur le nouveau Yahoo!
- Sortie d'un nouveau livre sur Google
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités



le forum