Erreurs Robots.txt sans fichier Robots.txt

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics


Dark_Shark
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 416
Inscription: 9 Mar 2006

Erreurs Robots.txt sans fichier Robots.txt

Message le Ven Mai 11, 2007 1:55

Salut à tous !

Voila depuis quelque temps que j'ai des erreurs robots.txt qui portent sur des URLs de mes sites alors que je n'ai aucun robots.txt existant sur aucun de mes sites :?

Une piste ? Bug Google ? D'autres dans le même cas ?

Merci :wink:

XtofotX
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 29
Inscription: 30 Aoû 2005

Message le Ven Mai 11, 2007 3:53

Est-ce qu'il y a vraiment un rapport avec AdSense?
Quel genre d'erreur obtiens-tu?

A vue de nez et avec ce que je sais, c'est probablement une erreur 404 que tu obtiens justement parce que tu n'as pas de fichier robots.txt et que Google (et les autres moteurs) le cherchent avant de crawler ton site.

MisterLyle
WRInaute discret
WRInaute discret
 
Messages: 93
Inscription: 31 Mai 2006

Message le Ven Mai 11, 2007 9:09

XtofotX a écrit:Est-ce qu'il y a vraiment un rapport avec AdSense?
.


oui: j'ai les memes erreurs trouvées par l'outil de diagnotic intégré à adsense...

crxman
WRInaute discret
WRInaute discret
 
Messages: 51
Inscription: 20 Oct 2004

Message le Ven Mai 11, 2007 10:18

Moi aussi, j'ai crée un fichier comme gg me le conseillais dans le FAQ ...


Dark_Shark
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 416
Inscription: 9 Mar 2006

Message le Ven Mai 11, 2007 14:25

Je vais essayé avec ca alors :

User-Agent: *
Disallow:

LebossTom
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 33
Inscription: 18 Avr 2007

Message le Lun Juil 09, 2007 0:40

les bots comme googlebot ont l'obligation d'aller voir ton robots.txt.
Si tu n'en as pas ton serveur renvoi un 404.

rassure toi c'est tout à fait normal.

NextGeneration
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 428
Inscription: 27 Sep 2006

Message le Lun Juil 09, 2007 7:33

LebossTom... Si je te dis Kwisskass ca te dit qqchose ?


polweb
WRInaute accro
WRInaute accro
 
Messages: 3921
Inscription: 18 Oct 2006

Message le Lun Juil 09, 2007 7:50

Regarde dans tes stats, effectivement cela doit être des erreurs 404.


cprail
WRInaute passionné
WRInaute passionné
 
Messages: 1564
Inscription: 5 Mar 2006

Message le Lun Juil 09, 2007 22:40

Les bots n'ont aucun moyen de savoir s'il y a un robots.txt ou non tant qu'ils n'ont pas essayés et obtenus (ou non) une erreur ;)

Ajoute un robots.txt vide si ça peut te rassurer.


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité