Fin du Yahoo Site Explorer... solutions alternatives ?

[Djibou_Te@M]

Bonjour à tous,
Cela fait un an que Bing et Yahoo ont signé un accord et même si je fermais les yeux jusqu'à présent sur un éventuel arrêt
des certains outils Yahoo, je me pose de plus en plus la question :
Que va-t-il advenir du Yahoo Site Explorer ?


Rien d'encourageant pour l'avenir....
Pour moi, c'était presque un automatisme d'aller le consulter, pour de la veille concurrentielle, pour avoir des pistes sur l'état de référencement des sites de mes clients et autres fins plus ou moins utiles...

Parlons peu, parlons bien, connaissez-vous d'autres outils de ce type, gratuits ?

Seriez-vous intéressés par la création d'un site explorer communautaire, fait par une communauté issue du SEO pour tous ?

[Madrileño]

Bienvenue au forum.

Pour votre site vous pouvez utiliser Google Webmaster Tools.
Concernant Yahoo Site Explorer, il serait étonnant avec autant de trafic que Bing (Microsoft) ne propose pas un outil similaire.

Seriez-vous intéressés par la création d'un site explorer communautaire, fait par une communauté issue du SEO pour tous ?

C'est une définition un peu vague, vous pouvez préciser un peu plus pour les webmasters qui pourraient être intéressés par votre possible outil.

Vous pouvez aussi vous présenter : [Forum] Comment vous présenter.

N'hésitez pas à participer sur le forum en répondant aussi à d'autres topics.

[jv2759]

Seriez-vous intéressés par la création d'un site explorer communautaire, fait par une communauté issue du SEO pour tous ?

De ce que je lit dans l'article tu veux dire faire une base de données avec l'ensemble des backlink, car pour l'indexation on ne peux inventer les donner si elle ne sont plus donnée.

Le problème c'est que pour faire cela il faut crawler le web... Ce qui demande beaucoup de ressource, humaine et surtout financière. Car ce n'est pas 50000 pages d'un gros site que l'on doit analyser, mais des centaine de milliards de pages (j'ai vue que l'on parler de 1000 milliard en 2008). Si tu traite 10 pages à la seconde il te faudra 30 ans pour traiter 10 milliards de pages...

[French Dread]

Il restera encore actif 1 an ou 2 ans le temps que la migration vers Bing soit achevée dans l'ensemble du monde, puis sera intégré dans les outils Bing. Dans l'immédiat donc pas de panique.

[Djibou_Te@M]

Bonjour,
C'est vrai je ne me suis pas présenté,
je travaille dans une Web Agency de la région toulousaine, plus spécifiquement sur le référencement et autres techniques de E-marketing pour permettre à mes clients de vendre mieux et plus.

Pour mon idée, et pour répondre à jv2759 ainsi qu'à Madrileno, c'est un crawler de site avec (bien evidemment) stockage en BDD.

Si tu traite 10 pages à la seconde il te faudra 30 ans pour traiter 10 milliards de pages

c'est vrai, d'ou l'intérêt d'une communauté, on n'est plus seul, mais plusieurs.
Admettons, nous sommes à trois, il ne faut plus que 10 ans
nous sommes 30, plus qu'un an
300, ....
Oui j'ai arrondi plus que grossièrement les chiffres, mais l'idée est là.
Utilisation BDD mère + BDD esclaves, installées chez chacun, et en avant la musique, bien sûr il faut poser ça sur papier, ou du moins sur écran afin de pas s'éparpiller.

Mettre en place un tel système (serveurs gratuits vivement recommandés pour les fonds de départ) prendra surement du temps, mais ne croyez vous pas que c'est une aventure à tenter ?
J'attend vos retours (bons ou mauvais, insultes du type gros ... interdites, je suis soupe au lait )

En même temps, comme le dit Madrileno, il serait étonnant que Bing se prive d'un tel outil, donc peut être Wait and See

[jv2759]

d'ou l'intérêt d'une communauté, on n'est plus seul, mais plusieurs.
Admettons, nous sommes à trois, il ne faut plus que 10 ans
nous sommes 30, plus qu'un an
300, ....

Il faut pouvoir trouver 300 personne capable de louer une machine avec connexion internet illimitée dédier uniquement à cela... Dans mon calcul je le faisait sur 10, mais si c'est 100, cela veux dire 3000 personnes Ou alors 300 personne avec 10 serveur... Et je ne ferais même pas le calcul pour 1000. Ensuite il faut une personne pour coder et optimiser le crawler, car cela ne ce fait pas comme un plugin wordpress, entre un crawler non optimiser et un optimiser les ressource nécessaire peuvent doubler voir énormément plus... Faire des règle de filtre, de priorité, car pas question de scanner 5000 fois la même pages à cause d'un id de session non identifier...

Utilisation BDD mère + BDD esclaves

Qui vas avoir la bdd mère? Car ce sont des donnée qui on une vrais valeur. Impossible à stocker intégralement chez tout les monde. Cela peux faire des quantité énorme de donnée à stocker. Donc on doit tout donnée a une personne de confiance qui vas devoir mettre en place un système pour que chacun puisse récupérer ce d'on il a besoin.

une aventure à tenter ?

A mon avis difficile sans une structure capable d'apporter une bonne base. Sauf que ce type de structure le fait pour elle et revend par la suite. Et justement je crois que cela existe déjà des service payant de ce type. Service qui coute surement moins chère que de devoir soit même avoir 10 serveur de crawl.

[Djibou_Te@M]

C'est vrai que cela engendre un cout important niveau ressources.
Pour le code, si l'on part sur un système communautaire, c'est pour que tout ne soit pas fait par une seule personne
et avoir un code plus objectif, de même pour les filtres de recherche et de crawl.

Reste le souci de la base Mère qui doit se trouver à un endroit, du coup, oui trouver une personne de confiance, trouver les fonds, etc.

Mais bon, la fondation Mozilla a du se poser les mêmes questions au début, de même que les différentes branches de UNIX, pourtant ils sont bien là...

Après c'est vrai que je suis parfois un doux rêveur...

[Marie-Aude]

il y a des solutions beaucoup moins couteuses que cela ... personnellement j'ai payé un soft de veille concurentielle 400 euros, et j'ai toutes les infos qu'il me faut.

[jv2759]

Pour le code, si l'on part sur un système communautaire, c'est pour que tout ne soit pas fait par une seule personne
et avoir un code plus objectif, de même pour les filtres de recherche et de crawl.

Il ne faut pas plein de programmeur moyen, mais quelque très bon. En sachant que ce qui sont intéresser ne sont pas les très bon programmeur.

Reste le souci de la base Mère qui doit se trouver à un endroit, du coup, oui trouver une personne de confiance, trouver les fonds, etc.

Mais bon, la fondation Mozilla a du se poser les mêmes questions au début, de même que les différentes branches de UNIX, pourtant ils sont bien là...

Mozilla à commencer avec 1 million, une bonne partie de code déjà crée, une unité dans les développeur, pas non plus de problème de confiance, tout le monde peux avoir tout les sources, et personne ne peux vraiment les vendre directement, ce qui peux ce vendre c'est l'expérience, donc celui qui triche ce retrouve moins bien positionner que les autres.

Mais surtout la différence tien dans la nature des ressources. Pour crée un logiciel open source, quasiment tout les ressources son lier au temps. Pour un crawler, les ressources sont beaucoup plus matériel.

[pm27]

Bonjour à tous,
Cela fait un an que Bing et Yahoo ont signé un accord et même si je fermais les yeux jusqu'à présent sur un éventuel arrêt
des certains outils Yahoo, je me pose de plus en plus la question :
Que va-t-il advenir du Yahoo Site Explorer ?


Rien d'encourageant pour l'avenir....
Pour moi, c'était presque un automatisme d'aller le consulter, pour de la veille concurrentielle, pour avoir des pistes sur l'état de référencement des sites de mes clients et autres fins plus ou moins utiles...

Parlons peu, parlons bien, connaissez-vous d'autres outils de ce type, gratuits ?

Seriez-vous intéressés par la création d'un site explorer communautaire, fait par une communauté issue du SEO pour tous ?

On explore une piste actuellement en cours de développement :
http://wikiwix.com/index.php?lang=fr&disp=article&action=site%3Afrance.fr
La démo est à titre expérimentale, pas encore totalement fini mais on y travaille en ce moment.

[Leonick]

On explore une piste actuellement en cours de développement

heu, ça n'a aucun rapport avec les fonctionnalités de Yahoo Site Explorer, c'est juste une recherche à l'intérieur de wikipedia, à ce qu'il me semble

[pm27]

On explore une piste actuellement en cours de développement

heu, ça n'a aucun rapport avec les fonctionnalités de Yahoo Site Explorer, c'est juste une recherche à l'intérieur de wikipedia, à ce qu'il me semble

En fait, la requête que j'ai envoyé site:france.fr renvoie les informations que nous avons collecté de notre crawleur sur le site france.fr ( nombre de pages, heure du dernier crawl, heure du prochain crawl ). Après si il vous faut plus d'infos, c'est le moment.

[jv2759]

Après si il vous faut plus d'infos, c'est le moment.

On parler plutôt de la commande :

link:france.fr

[pm27]

Après si il vous faut plus d'infos, c'est le moment.

On parler plutôt de la commande :

link:france.fr

Certes mais c'est une fonctionnalité qu'on peut facilement rajouter, c'est pour récupérer les liens entrants, j'ai environ une dizaine de serveurs qui peuvent faire çà à raison de 5 pages / secondes. Cordialement

[SpeedAirMan]

il y a des solutions beaucoup moins couteuses que cela ... personnellement j'ai payé un soft de veille concurentielle 400 euros, et j'ai toutes les infos qu'il me faut.

Peux tu nous donner le nom du soft en question stp?