Moteur 2.0

[spidetra]

Moteur 2.0, le billet d'humeur de Jerôme Charron sur les moteurs de recherches et les technologie Ajax.

Jerôme Charron ne se place du point de vue des référenceurs ( Quelles techniques mettrent en oeuvre pour permettre l'indexation d'un site en Ajax ? ).
Il se place du point de vue des moteurs de recherche.

A la lumière de ces quelques problèmes posés, nous constatons donc clairement qu'il ne s'agit plus ici d'indexer des documents, mais bel et bien des applications. Le moteur de recherche se trouve bel et bien face à des applications et non plus à des documents. Il ne s'agit plus d'indexer des contenus textuels, mais de pouvoir indexer tous les contenus possibles offerts par un service. Nous nous confrontons à des problèmes informatiques d'une extrême complexité: la preuve de programme et leur predictibilité.

Le moteur 2.0 n'est donc pas pour 2006 ( et certainement pas non plus pour 2007 ).
Il donne aussi le secret pour référencer un site en Ajax

[blman]

Spidetra, je viens de découvrir ton post. Le web 2.0 entraine forcément des questions dont celle-ci. Evidemment, les moteurs de recherche auront du mal à s'adapter aux techniques utilisant les méthodes AJAX car leurs robots ne sont pas prêts. (D'ailleurs, je ne pense pas que ce soit la volonté des moteurs de s'adapter)

Mais la question est plus générale que ça... Voici ma petite démonstration :

1- Comme je dit souvent sur ce forum, un robot se comporte comme un utilisateur aveugle ou un utilisateur qui aurait un vieux navigateur avec les options javascripts, cookies, ... désactivée

2- Le travail de codeur d'un site web, entendons nous bien, revient à programmer un site accessible aussi bien à l'utilisateur ayant un très vieux navigateur, à l'utilisateur aveugle ou à l'utilisateur ayant le dernier navigateur à la mode.

3- Son travail reviendra alors à travailler son accessibilité (sémantique du code, respect des standards web, WAI, ...). Il sera alors amené à séparer forme et contenu. Avec AJAX, il doit prendre en compte une nouvelle donnée : les événements. Le codeur devra donc séparer contenu / forme / événement. Une fois séparé, le contenu seul est toujours accessible par les moins équipé et est très dynamique pour les mieux équipés

4- Un site accessible avec séparation contenu / forme / événement sera toujours aussi bien indexé par les bots tout en offrant une visite plus confortable et dynamique aux utilisateurs les mieux équipés

Un projet entièrement réalisé en AJAX n'est tout de même pas adapter à beaucoup de projet. N'oublions pas, bien sûr, les notions de base du développement : accessibilité, URL Friendly, compatibilité avec les navigateurs, ...

AJAX me fait un peu penser à la mode du flash à l'époque où c'était "IN" de faire un site entièrement en flash. Quelques mois plus tard, les webmasters ont fait marche arrière : la solution étant d'intégrer des éléments flash dans du contenu HTML, voire de carrément l'abandonner.

[Albert1]

AJAX me fait un peu penser à la mode du flash à l'époque où c'était "IN" de faire un site entièrement en flash. Quelques mois plus tard, les webmasters ont fait marche arrière : la solution étant d'intégrer des éléments flash dans du contenu HTML, voire de carrément l'abandonner.

je pense que la comparaison est bonne

[effisk]

AJAX me fait un peu penser à la mode du flash à l'époque où c'était "IN" de faire un site entièrement en flash. Quelques mois plus tard, les webmasters ont fait marche arrière : la solution étant d'intégrer des éléments flash dans du contenu HTML, voire de carrément l'abandonner.

je pense que la comparaison est bonne

Je pense que la comapraison est mauvaise.

Pour le site moyen, Flash est intéressant pour tout ce qui est graphique et qui ne serait pas accessible aux robots de toute façon. Le vrai contenu (tout ce qui peut être codé en dur, le texte, etc.) doit rester accessible aux moteurs, et cela est possible sans perdre beaucoup des avantages de Flash.

Ajax, c'est une autre histoire. Quelles sont les applications principales de ce genre de technologies aujourd'hui ? Netvibes, Google IG, Live ? Gmail aussi si j'en crois ce que je vois sur ma boîte mail. DotClear l'intègre aussi un peu, certains shops en ligne permettent de gérer son panier avec des applis en Ajax, etc.

Qu'ont toutes ces applications d'Ajax en commun ? Elles nécessitent d'être identifié (enregistrement, session, etc.) pour être utilisées. Les informations disponibles ne seraient donc pas accessibles aux robots même si ces sites étaient en bon vieux HTML.

Ajax permet de fluidifier la communication entre le client et le serveur, de rendre cette communication transparente (éviter le rechargement de pages entre chaque modification de préférences, etc.). Cela remplace des formulaires et des outils de recherche par exemple. Les robots n'ont jamais été capables de compléter des formulaires ou de soumettre des recherches à ma connaissance.

Pour les applications actuelles, Ajax ne pose pas vraiment de problème en termes de référencement à moins évidemment qu'on décide de faire du tout Ajax comme on a pu voir du tout Flash à une autre époque, mais la comparaison s'arrête là et il serait bien réducteur de ne s'en tenir qu'à cela.

[Albert1]

AJAX me fait un peu penser à la mode du flash à l'époque où c'était "IN" de faire un site entièrement en flash. Quelques mois plus tard, les webmasters ont fait marche arrière : la solution étant d'intégrer des éléments flash dans du contenu HTML, voire de carrément l'abandonner.

je pense que la comparaison est bonne

Je pense que la comapraison est mauvaise.
[...]
Pour les applications actuelles, Ajax ne pose pas vraiment de problème en termes de référencement à moins évidemment qu'on décide de faire du tout Ajax comme on a pu voir du tout Flash à une autre époque, mais la comparaison s'arrête là et il serait bien réducteur de ne s'en tenir qu'à cela.

c'est là que la comparaison était bonne
et c'est vers çà qu'originellement tendait la conversation :

A la lumière de ces quelques problèmes posés, nous constatons donc clairement qu'il ne s'agit plus ici d'indexer des documents, mais bel et bien des applications. Le moteur de recherche se trouve bel et bien face à des applications et non plus à des documents. Il ne s'agit plus d'indexer des contenus textuels, mais de pouvoir indexer tous les contenus possibles offerts par un service. Nous nous confrontons à des problèmes informatiques d'une extrême complexité: la preuve de programme et leur predictibilité.

ce n'est donc pas moi qui était réducteur

[spidetra]

Le propos de Jérôme Charron n'est pas réducteur. Il se place uniquement du côté de la problématique des moteurs de recherche, et non pas du point de vue du référenceur.

En relisant les 4 posts, j'ai l'impression qu'on est tous plus ou moins d'accord :
1. La conception d'un site web doit permettre la plus grande accessibilité possible
2. Ajax, Flash doivent rester des compléments, non indispensable, mais utile.

L'analogie Flash/Ajax me semble bien choisie :
Ces 2 techniques ont connus, ou vont connaître, des abus d'utilisation

Ces 2 technos permettent une communication client/serveur en tâche de fond, "transparente" pour l'utilisateur.

Les fonctionalités de Flash et d'Ajax sont sous-exploités aujourd'hui.

[effisk]

ok.

Vous avez des exemples d'utilisation d'Ajax où cette techno est bloquante en terme de référencement ou pour les robots des moteurs de recherche en terme d'indexation (ou un exemple d'abus d'utilisation) ?

Je n'en connais pas (encore). Pour moi les applications d'Ajax sont aujourd'hui dédiées à du contenu qui justement ne doit pas être rendu accessible à tout le monde.

Je vois un intérêt asse limité pour un moteur de recherche à indexer le contenu (public) d'une application (et non pas d'un document). Une application peut faire appel à des documents mais ne devrait pas les contenir (un même document devrait pouvoir être consultable via diverses applications si nécessaire).

Enfin, vous noterez qu'Ajax et indexation ne sont pas incompatibles, bien au contraire, ma boîte Gmail en est la preuve.

Pour moi les points énumérés pas spidetra sont vrais, mais ils n'ont pas grand chose à voir avec l'indexation.

[spidetra]

Effisk-> on est tout a fait d'accord. Effectivement les points d'analogie entre Flash/Ajax n'ont pas de rapport avec l'indexation.

Petit bémol pour gMail : c'est une appli Google. C'est normal qu'il l'indexe. Les mails sont sur ses serveurs. ça simplifient considérablement la tâche d'indexation

[blman]

Tu n'a pas tord effisk. Comme je le disais dans mon post, un site réalisé avec AJAX peut être indexable par les moteurs de recherche, si et seulement si, le contenu reste accessible.

Voici un ptit lien : http://ljouanneau.com/blog/2005/09/14/4 ... -attention

Par contre, avec AJAX, le codeur peut facilement en faire une utilisation abusive.

[effisk]

Tu n'a pas tord effisk.

tu as tort c'est tort pas tord.

tiens je vois que mon ptit frérot a posté un commentaire sur ton message

Petit bémol pour gMail : c'est une appli Google. C'est normal qu'il l'indexe. Les mails sont sur ses serveurs. ça simplifient considérablement la tâche d'indexation

certainement. C'estait juste pour l'exemple. Techniquement, c'est faisable.

En admettant que le contenu (les documents) d'une appli Ajax soient stockés dans une base de données, il n'y a rien de plus simple que de les rendre accessibles aux moteurs de recherche. Evidemment, cela implique de contourner Ajax.

Pour conclure, je vais prendre un exemple qui selon moi représente mieux la chose :

Ajax, c'est comme OutLook. Les messages contenus dans OutLook sont les documents contenus dans Ajax. Tous les desktop searchers (Copernic, Microsoft, Google et cie.) sont capables d'effectuer des recherches dans/parmis les messages sans pour autant avoir besoin de lire (crawler, spider, appelez ça comme vous voulez) OutLook.

[spidetra]

En admettant que le contenu (les documents) d'une appli Ajax soient stockés dans une base de données, il n'y a rien de plus simple que de les rendre accessibles aux moteurs de recherche. Evidemment, cela implique de contourner Ajax

.
Exact c 'est le sens du billet. Les moteurs ont un web de retard, selon OA, et ne sont pas encore prêt pour le Search 2.0.

Les moteurs n'ont aucun intérêt à prendre en compte la techno Ajax :
- Techniquement ce n'est pas si simple
- Financièrement : aucun intérêt.

Donc, comme toujours, ce sont aux webmasters/référenceurs de s'adapter aux contraintes des moteurs de recherches en contournant Ajax.
C'est ce que l'on fait depuis toujours en supprimmant les phpsessid des urls par exemple.

Ajax, c'est comme OutLook. Les messages contenus dans OutLook sont les documents contenus dans Ajax. Tous les desktop searchers (Copernic, Microsoft, Google et cie.) sont capables d'effectuer des recherches dans/parmis les messages sans pour autant avoir besoin de lire (crawler, spider, appelez ça comme vous voulez) OutLook.

Tu parles de Desktop Searcher. Nous quittons le cas classique des moteurs de recherches et des sites web.

Pour pouvoir intégrer un document dans un index, un moteur de recherche a deux contraintes :

1. Il doit reconnaître le format du document. Pour cela il dispose de parser spécifique pour différents formats : htm, pfd, word, excel, mp3, etc...
Il est, par exemple, relativement simple de créer des parseurs pour les documents Open Office. Le format des documents Open Office est un format ouvert basé sur XML.

2. Le document doit être accessible.
Le document est accessible via un protocole. Le protocole le plus connu, dans le monde du web, étant http:
Pour les desktop search, le protocole four accéder aux documents est généralment : file:


Imaginons une application web locale dont tout le contenu ne serait accessible que via Ajax.
Pour rendre cette application indexable :
- soit tu rend le contenu accessible en contournant Ajax. On se retrouve dans le cas classique d'une appli web.
- Soit tu "contourne l'application", en changeant le protocole d'accés aux données. Dans ce cas tu passe de http: => file:

Les Desktop Search contournent les applications ( Outlook, par exemple ), car ils ont un moyen d'accéder aux données. Ils ont la possibilités de changer le protocole d'accés aux données. Ce n'est pas possible pour les moteurs de recherches qui ne sont pas installés sur ton desktop.

[effisk]

Ajax, c'est comme OutLook. Les messages contenus dans OutLook sont les documents contenus dans Ajax. Tous les desktop searchers (Copernic, Microsoft, Google et cie.) sont capables d'effectuer des recherches dans/parmis les messages sans pour autant avoir besoin de lire (crawler, spider, appelez ça comme vous voulez) OutLook.

Tu parles de Desktop Searcher. Nous quittons le cas classique des moteurs de recherches et des sites web.

Pour pouvoir intégrer un document dans un index, un moteur de recherche a deux contraintes :

1. Il doit reconnaître le format du document. Pour cela il dispose de parser spécifique pour différents formats : htm, pfd, word, excel, mp3, etc...
Il est, par exemple, relativement simple de créer des parseurs pour les documents Open Office. Le format des documents Open Office est un format ouvert basé sur XML.

2. Le document doit être accessible.
Le document est accessible via un protocole. Le protocole le plus connu, dans le monde du web, étant http:
Pour les desktop search, le protocole four accéder aux documents est généralment : file:


Imaginons une application web locale dont tout le contenu ne serait accessible que via Ajax.
Pour rendre cette application indexable :
- soit tu rend le contenu accessible en contournant Ajax. On se retrouve dans le cas classique d'une appli web.
- Soit tu "contourne l'application", en changeant le protocole d'accés aux données. Dans ce cas tu passe de http: => file:

Les Desktop Search contournent les applications ( Outlook, par exemple ), car ils ont un moyen d'accéder aux données. Ils ont la possibilités de changer le protocole d'accés aux données. Ce n'est pas possible pour les moteurs de recherches qui ne sont pas installés sur ton desktop.

Oui, je faisais juste une comparaison un peu grossière pour faire comprendre comment il est possible d'accéder à des documents sans forcément devoir crawler l'appli et sans entrer dans le détail techniquement. Mais l'info est intéressante.

Donc, comme toujours, ce sont aux webmasters/référenceurs de s'adapter aux contraintes des moteurs de recherches en contournant Ajax.

Absolument.

Nous nous confrontons à des problèmes informatiques d'une extrême complexité: la preuve de programme et leur predictibilité

Et c'est là que je ne suis pas d'accord : on peut contourner ces problèmes, on n'y est absolument pas confronté. Pourquoi chercher des solutions compliquées alors qu'il en existe d'extrêmement simples ?

[spidetra]

Nous nous confrontons à des problèmes informatiques d'une extrême complexité: la preuve de programme et leur predictibilité

Et c'est là que je ne suis pas d'accord : on peut contourner ces problèmes, on n'y est absolument pas confronté. Pourquoi chercher des solutions compliquées alors qu'il en existe d'extrêmement simples ?

Attention : pour Jerome Charron : Nous = Les moteurs de recherches !
pas les webmasters et les référenceurs

[effisk]

ok. J'ignorais qu'il bossait pour un moteur.

Il n'empêche qu'il peut compter sur les webmasters pour l'aider à contourner le problème

[spidetra]

C'est pour ça que le titre du post est Moteur 2.0 et pas Referenceur 2.0