URL restreintes par un fichier robots.txt
6 messages • Page 1 sur 1
Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics
URL restreintes par un fichier robots.txt
En consultant le diagnostique fourni par GG Sitemaps, sous :
Diagnostic/Exploration du Web/URL restreintes par un fichier robots.txt
je trouve toute une liste d’url obsolètes et anciennes avec pour commentaires "Dans le plan Sitemap" alors que ces dernières n’y figurent plus depuis longtemps.
De plus, ces mêmes url ne sont pas listées dans mon robots.txt

Diagnostic/Exploration du Web/URL restreintes par un fichier robots.txt
je trouve toute une liste d’url obsolètes et anciennes avec pour commentaires "Dans le plan Sitemap" alors que ces dernières n’y figurent plus depuis longtemps.
De plus, ces mêmes url ne sont pas listées dans mon robots.txt
-

Pot de yahourt - WRInaute impliqué

- Messages: 414
- Inscription: Mer Avr 28, 2004 0:30
Re: URL restreintes par un fichier robots.txt
salva a écrit:En consultant le diagnostique fourni par GG Sitemaps, sous :
Diagnostic/Exploration du Web/URL restreintes par un fichier robots.txt
je trouve toute une liste d’url obsolètes et anciennes avec pour commentaires "Dans le plan Sitemap" alors que ces dernières n’y figurent plus depuis longtemps.
De plus, ces mêmes url ne sont pas listées dans mon robots.txt![]()
idem pour moi.
Par curiosité, quel soft utilises tu pour generer ton sitemap ?
Perso, j'utilise GsiteCrawler
-

Pot de yahourt - WRInaute impliqué

- Messages: 414
- Inscription: Mer Avr 28, 2004 0:30
Peut etre....
Ayant changé la structure de mon site (passage de xoops à Joomla), j'ai pas mal de pages qui sont devenues obsoletes.
Malgré le fait que ces pages etaient dans mon robots.txt, gg trainaient les pieds pour les desindexées.
Du coup, j'ai demandé à gg de le faire... cela n'a pas pris longtemps, quelques heures tout au plus.
Du coup, je suis perplexe lorsque je vois qu'effectivement des pages qui maintenant n'existent plus sur indiquées comme soit disant presentes dans le sitemap et restreinte par le robots.txt (ce qui est vrai pour ce dernier parametre)
Sachant qu'apres la desindexation, j'ai bien sur refais un sitemap en bonne et due forme, j'ai du mal à comprendre pourquoi selon gg ces pages sont soit disant presentes dans le sitemap.
Ceci dit, mon sitemap est relativement leger (130 url), et je ne vois pas ces pages obsoletes dedans.... mais bon. J'ai qd meme du coup un doute sur la fiabilité du soft.
Faudrait voir si d'autres ont ce soucis également avec le meme soft, et surtout si seuls les utilisateurs de ce soft ont ce genre de prblm.
Ayant changé la structure de mon site (passage de xoops à Joomla), j'ai pas mal de pages qui sont devenues obsoletes.
Malgré le fait que ces pages etaient dans mon robots.txt, gg trainaient les pieds pour les desindexées.
Du coup, j'ai demandé à gg de le faire... cela n'a pas pris longtemps, quelques heures tout au plus.
Du coup, je suis perplexe lorsque je vois qu'effectivement des pages qui maintenant n'existent plus sur indiquées comme soit disant presentes dans le sitemap et restreinte par le robots.txt (ce qui est vrai pour ce dernier parametre)
Sachant qu'apres la desindexation, j'ai bien sur refais un sitemap en bonne et due forme, j'ai du mal à comprendre pourquoi selon gg ces pages sont soit disant presentes dans le sitemap.
Ceci dit, mon sitemap est relativement leger (130 url), et je ne vois pas ces pages obsoletes dedans.... mais bon. J'ai qd meme du coup un doute sur la fiabilité du soft.
Faudrait voir si d'autres ont ce soucis également avec le meme soft, et surtout si seuls les utilisateurs de ce soft ont ce genre de prblm.
6 messages • Page 1 sur 1
Formation recommandée sur ce thème :
Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Sortie de GoogleStats v2.01
- Déclarer son fichier sitemap dans le fichier robots.txt
- Robots.txt : Yahoo supporte les options avancées
- Exalead rejoint le protocole Sitemaps.org
- Comment gérer simplement les sitemaps de plusieurs sites au même endroit
- Suite de l'article sur le fichier .htaccess : l'URL rewriting
- Petit changement pour Slurp (le robot de Yahoo)
- Yahoo Slurp et autres robots d'indexation de Yahoo
- Référencement d'un forum phpBB
- Article sur le fichier .htaccess
Consultez la description détaillée des produits ou services de Google suivants : Google Feed Fetcher, Google Sitemaps, Google Co-Op
- Analyse de popularité
Cet outil vous permet d'analyser en détails la "popularité" de votre site sur Google. En plus du nombre de liens pris en compte par Google, il calcule le pourcentage de liens internes parmi tous les liens, et il affiche les premières URL trouvées. - Transformer des simples citations de votre site en liens
Cet outil vous permet de trouver des pages citant votre site mais ne faisant pas (encore) de lien. Il suffira parfois d'un simple mail pour transformer cette simple citation en lien (backlink).
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités



le forum