[article] Comment faire des liens en dur dans son annuaire

[niceunef]

Yahoo: -http://fr.srd.yahoo.com/S=2100044912:D1/CS=2100044912/SS=2100148378/*http://btseec06.free.fr/
En gros, une URL "en dur" avec celle du site de destination en clair.
C'est peut-etre comme le jump.php dont on parlait plus haut, mais avec un rewriting?

Si les liens de redirection 301 sur les annuaires ne sont pas/plus suivis/tenus a jour par les moteurs, c'est en effet un ennui.
On note d'ailleurs que le nouvel article est bien plus dubitatif sur les 301 que les précédents sur les redirections

L'idéal est que les moteurs comprennent la vraie URL de destination sans avoir a la visiter (cliquer n'est pas le bon terme, mais c'est l'idée: un robot ne clique pas, il se fait un stock d'URLs a visiter plus tard), et le systeme de Yahoo semble aller (en plus, vu la taille du site et les liens historiques des fondateurs de Google avec Yahoo -Yahoo est, avec Dmoz, un des annuaires recommandés dans les guidelines de Google-, ils ont peut-etre fait un développement particulier)

[jeanluc]

Quelques commentaires qui n'engagent que moi...

Nous faisons des redirections 302 par l'intermédiaire d'un cgi. L'intérêt est principalement de compter les clics, mais aussi pour bloquer les aspirateurs.

A mon avis, il n'y a aucun rapport entre "redirection 302" et " bloquer les aspirateurs".

Cela ne nuit pas aux sites inscrits chez nous car GG prend très bien en compte la redirection et mets bien à jour les backlinks, et donc sans doute le PR.

Je crois que ça se passe souvent comme tu le décris, mais dans un certain nombre de cas, Google remplace le site référencé par la page de l'annuaire qui fait la redirection. D'où une frustration considérable chez le webmaster du site "victime". Comme ton annuaire est payant, je suppose que tes clients n'apprécieraient pas ce genre de situation "même si c'est la faute à Google"... d'autant plus qu'il t'est possible de l'éviter.

Je vois un inconvénient à faire un 301. Nous avons déjà testé cela il y a presque 3 ans (ça a pu changer). GG prenait bien en compte la redirection 301 mais ne revenait plus charger de nouveau notre cgi...normal puisque c'est une redirection permanente.

Tout à fait d'accord.

Le problème c'est que nous mettons à jour les URL dans notre annuaire sans pour autant changer l'appel, c'est à dire le numéro du site. Comme GG ne reteste pas la redirection, il n'y a jamais mise à jour du lien. C'est pourquoi nous continuons à faire du 302.

C'est une solution très douteuse. Il serait préférable de ne pas réutiliser d'anciens numéros de site.

Je prends note de la méthode @Rano qui me semble judicieuse.

En plus, c'est la solution qui, en pratique, donnera les stats les plus exactes.

Par contre est-ce que quelqu'un comprends comment fait Yahoo dans son guide ? Je pense que c'est la méthode idéale.

Le guide Yahoo fait des redirections 302. Idéal, pourquoi ?

Jean-Luc

[Cendrillon]

je viens un peu mettre mon grain de sel dans vos discussions.

tu es le bienvenu Indexa, je pense qu'il est essentiel que les annuaires participent à cette discution et donnent leur point de vue sur la question, si nous voulons déboucher sur une solution constructive ...

Nous faisons des redirections 302 par l'intermédiaire d'un cgi. L'intérêt est principalement de compter les clics, mais aussi pour bloquer les aspirateurs. Cela ne nuit pas aux sites inscrits chez nous car GG prend très bien en compte la redirection et mets bien à jour les backlinks, et donc sans doute le PR.

alors, ce serait intéressant que tu nous expliques comment vous pratiquez pour que dans votre cas, les 302 ne nuisent pas aux sites inscrits chez vous ...

Je vois un inconvénient à faire un 301. Nous avons déjà testé cela il y a presque 3 ans (ça a pu changer). GG prenait bien en compte la redirection 301 mais ne revenait plus charger de nouveau notre cgi...normal puisque c'est une redirection permanente. Le problème c'est que nous mettons à jour les URL dans notre annuaire sans pour autant changer l'appel, c'est à dire le numéro du site. Comme GG ne reteste pas la redirection, il n'y a jamais mise à jour du lien. C'est pourquoi nous continuons à faire du 302.

enfin une première explication argumentée de non utilisation de la 301, à développer ...

n'hésites surtout pas à participer aux débats ... et j'encourage vraiment tous les éditeurs d'annuaires qui nous lisent à venir participer également ...

[kalex]

<a href="le vrai lien" onclick="clic(id)">Blabla</a>

A mon sens c'est onclick qui fait moche. Une solution parfaitement élégante serait de séparer la structure du comportement (un peu comme XHTML/CSS le font pour la présentation) .
Un article qui parle de ça : http://www.pompage.net/pompe/separation/

[Indexa]

Nous faisons des redirections 302 par l'intermédiaire d'un cgi. L'intérêt est principalement de compter les clics, mais aussi pour bloquer les aspirateurs.

A mon avis, il n'y a aucun rapport entre "redirection 302" et " bloquer les aspirateurs".

Si si car on peut tester l'adresse ip avant d'autoriser la redirection.

Je crois que ça se passe souvent comme tu le décris, mais dans un certain nombre de cas, Google remplace le site référencé par la page de l'annuaire qui fait la redirection. D'où une frustration considérable chez le webmaster du site "victime". Comme ton annuaire est payant, je suppose que tes clients n'apprécieraient pas ce genre de situation "même si c'est la faute à Google"... d'autant plus qu'il t'est possible de l'éviter.

alors, ce serait intéressant que tu nous expliques comment vous pratiquez pour que dans votre cas, les 302 ne nuisent pas aux sites inscrits chez vous .....

J'ai creusé ce que fait Yahoo. C'est bien une redirection 302 avec URL rewrite avant. La redirection est "propre". Sur indexa aussi et c'est pour cela que ça fonctionne. Exemple: link:http://www.jurisconsulte.net/
Pour notre redirection on fait seulement un Location: url site dans le header HTML. Ce n'est donc pas une vraie page et GG n'en tient donc pas compte. Une vraie page HTML commence par Content-type: text/html. Si on fait une rédirection par <META REFRESH> ce n'est pas "propre". Si on fait une redirection javascript en ecrivant dans sa page: <script>window.location = 'url'</script> ce n'est pas "propre" non plus.

Le problème c'est que nous mettons à jour les URL dans notre annuaire sans pour autant changer l'appel, c'est à dire le numéro du site. Comme GG ne reteste pas la redirection, il n'y a jamais mise à jour du lien. C'est pourquoi nous continuons à faire du 302

C'est une solution très douteuse. Il serait préférable de ne pas réutiliser d'anciens numéros de site..

.

Oui tu as raison, on devrait réinscrire le site...mais c'est une solution plus longue à gérer donc plus couteuse. Il faudrait qu'on fasse payer les modifs, ce qu'on ne fait pas pour l'instant.

Je prends note de la méthode @Rano qui me semble judicieuse.

En plus, c'est la solution qui, en pratique, donnera les stats les plus exactes.

Oui car on évite de compter les clics provenants des robots. D'un autre coté avec notre cgi on peut aussi filtrer les robots par adresse ip.

Pour le 301 il faudrait retester le comportement de GG à long terme. Je laisse cela à ceux qui ont le courage et le temps.

n'hésites surtout pas à participer aux débats ... et j'encourage vraiment tous les éditeurs d'annuaires qui nous lisent à venir participer également ...

Merci pour ton accueil Cendrillon-trinity.

[WebRankInfo]

@Rano, "ta" solution est ce que j'appelais le lien en dur accompagné d'une action javascript, que je n'avais pas détaillée comme toi : merci pour les précisions qui font bien avancer les choses.

Bienvenue à Indexa - même si je savais que vous étiez là depuis longtemps
Olivier

[tradjus]

Yahoo: C'est du 302.

Code: Tout sélectionner

HTTP/1.1 302 Found =>
Date => Tue, 09 Nov 2004 17:27:03 GMT
P3P => policyref="http://p3p.yahoo.com/w3c/p3p.xml", CP="CAO DSP COR CUR ADM DEV TAI PSA PSD IVAi IVDi CONi TELo OTPi OUR DELi SAMi OTRi UNRi PUBi IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE GOV"
Location => http://www.yahoo.com/
Connection => close
Content-Type => text/html; charset=iso-8859-1

[pbpub]

Si je comprends bien, mon annuaire sur mon site ne fait pas des bonnes rediretions:
h***p://www.****.com/annuaire/gestion/out.php?url_id=4&url=http://www.zenit.org/french/

Est-ce juste?

Si oui, connaissez-vous un annuaire en php que je pourrais installer sur mon site? Merci

[epsilon74]

moi c'est le même probleme avec mon nouvel annuaire (en test). J'utilise Linker et les liens sont de la forme deja citée plus haut, donc à priori, non en dur. (xxxxx/jump.php?....&url=http://url-du-site.com).

Merci Rano, je viens de modifier le script de Linker avec ton code et quelques modifs supplementaires et ça fonctionne. Lien en dur et stats toujours actives.

Bonne soirée

Patrick

[@Rano]

@Rano, "ta" ...

Oui oui, c'est pas "ma" solution, je l'ai pas inventé . C'est ce qu'on peut voir dans certains script de moteur de recherche ou annuaire.

[@Rano]

<a href="le vrai lien" onclick="clic(id)">Blabla</a>

A mon sens c'est onclick qui fait moche. Une solution parfaitement élégante serait de séparer la structure du comportement (un peu comme XHTML/CSS le font pour la présentation) .
Un article qui parle de ça : http://www.pompage.net/pompe/separation/

Un article intéressant, mais comme il le dit au début, faut pas être anti-JavaScript ou penser que par le JavaScript. C'est comme chercher à etre 100% dans les normes W3C ou vouloir absolument ne pas les respecter par esprit de "révolté" c'est tout aussi idiot.

Je pense que l'essentiel est que le visiteur y trouve son compte. Si après tu peux le faire en respectant les normes et en le faisant le plus simplement possible tant mieux.

Chevauchement. CSS peut remplacer certaines fonctions traditionnelles de Javascript, comme les survols de souris et les menus déroulants. Je trouve l'idée intéressante et j'en discuterai dans ma prochaine chronique.

Par exemple ceci, c'est vrai qu'en CSS tu peux pratiquement mettre un :hover sur n'importe quoi... C'est bien gentil, mais pour l'instant c'est pas une solution. Rien que le fait que IE représente plus de 90% du parc des navigateurs et qu'il ne supporte pas le :hover sur div par exemple fait que c'est pas exploitable.

Javascript est un complément puissant aux pages par ailleurs accessibles en XHTML/CSS.

Là encore, va les trouver les navigateurs qui supportent le JavaScript dans le CSS, ils sont pas nombreux.


Je pense pas qu'il faille se prendre la tête sur des histoires comme ca.
Le JavaScript reste encore activé chez la plus grande majorité des surfeurs, je pense que ca reste un langage utilisable.

Maintenant si tu veux séparé le modèle la vue et controleur, c'est encore un choix, mais dans ce qui est voulu dans ce topic, ca sert strictement à rien. Tu peux t'amuser à faire un
<a href="">texte</a> et lancer une machine de JavaScript qui va y ajouter les attributs onclick et les actions que tu veux... mais alors l'intéret... faudra m'expliquer

[GAMING ZONE]

Bonsoir a tous !
Indexa ,

Indexa a écrit:
Nous faisons des redirections 302 par l'intermédiaire d'un cgi. L'intérêt est principalement de compter les clics, mais aussi pour bloquer les aspirateurs.
jeanluc a écrit:
A mon avis, il n'y a aucun rapport entre "redirection 302" et " bloquer les aspirateurs".
Si si car on peut tester l'adresse ip avant d'autoriser la redirection.

Cela n'est qu'illusion !
Des logiciels d'aspirations ont plusieurs options avancés :
-suivre les redirections de type 302 ( redirection utilisé aussi pour des pages 404 )
-indiqué un temps entre chaque requete ( pour eviter la surcharge serveur)
-indiqué un user_agent different comme par exemple se faire passer pour un IE6

L'adresse IP utilisé en cas d'aspiration sera l'adresse IP du client, donc de n'importe quelle FAI ! Ensuite, grace a l'option avancé temps entre chaque requete, cela permet de simuler une navigation, indetectable par n'importe qu'elle script de soi disant ANTI ASPIRATION ...

jeanluc a écrit:
Je crois que ça se passe souvent comme tu le décris, mais dans un certain nombre de cas, Google remplace le site référencé par la page de l'annuaire qui fait la redirection. D'où une frustration considérable chez le webmaster du site "victime". Comme ton annuaire est payant, je suppose que tes clients n'apprécieraient pas ce genre de situation "même si c'est la faute à Google"... d'autant plus qu'il t'est possible de l'éviter.

Cendrillon a écrit:
alors, ce serait intéressant que tu nous expliques comment vous pratiquez pour que dans votre cas, les 302 ne nuisent pas aux sites inscrits chez vous .....

J'ai creusé ce que fait Yahoo. C'est bien une redirection 302 avec URL rewrite avant. La redirection est "propre". Sur indexa aussi et c'est pour cela que ça fonctionne. Exemple: link:http://www.jurisconsulte.net/
Pour notre redirection on fait seulement un Location: url site dans le header HTML. Ce n'est donc pas une vraie page et GG n'en tient donc pas compte. Une vraie page HTML commence par Content-type: text/html. Si on fait une rédirection par <META REFRESH> ce n'est pas "propre". Si on fait une redirection javascript en ecrivant dans sa page: <script>window.location = 'url'</script> ce n'est pas "propre" non plus.

j'ai essayer la requete indiqué et en regardant dans le source de cache :
-la page index d'indexa fait bien un lien en dur vers ce site ( les liens des articles )
-la page yahoo referencer comporte elle aussi QUE des liens en dur ( et oui ! )

Ensuite, en utilisant l'outils de entete HTTP de WRI, sur le lien http://www.indexa.fr/cgi-bin/goto?site=37532 ( lien vers le fameux site ) :

Voici le contenu de l'entête HTTP renvoyé par votre serveur (URL analysée : 'http://www.indexa.fr/cgi-bin/goto?site=37532') :

HTTP/1.1 302 Found
Date: Wed, 10 Nov 2004 01:12:22 GMT
Server: Apache/1.3.4 (Unix)
Location: http://www.jurisconsulte.net
Connection: close
Content-Type: text/html

Il est clair que cela montre bien le "content-type: text/html" entete utilisé par defaut par apache ...

De plus, on nous indique que yahoo fait des soi disant redirection 302 , bah j'ai regarder les pages referencer par google pour cette fameuse requete, et je n'ai trouvé que des liens en dur !
Alors j'ai decidé d'aller a ces pages via le site de yahoo, et sur cette meme page, les liens sont differents et sont de la forme cité plus haut ...
Conclusion :
-Yahoo presente des pages pour google ! bah non, en faite c'est pas la meme url :
*url avec lien en dur referencé par google : http://cf.dir.yahoo.com (Yahoo CANADA EN FRANCAIS )
*url avec lien bizarre NON referencé par google : http://fr.dir.yahoo.com (Yahoo FRANCE )
[hors sujet] et la j'ai un SCOOP ! [/hors sujets]

-Ce n'est pas le cas d'indexa qui nous indique "J'ai creusé ce que fait Yahoo", car dans le cache on trouve bien les memes liens goto?id=xxxxxx
-On remarquera que le lien n'as pas d'extension, et que la balise meta ROBOTS n'existe pas, tout comme Yahoo ...

[hors sujet] l'extension phc , c'est du PHP croisé language C ? [hors sujet]

En ce qui concerne la derniere phrase de la citation, le javascript window.location est surement le plus propre de tous cité : il n'influence en rien de lreferencement... quoique, nous avons remarqué des liens en javascript qui été suivit par google ...

edit : je vous invite a voir la requete suivante :
[url]http://www.google.fr/search?hl=fr&
q=http%3A%2F%2Fwww.indexa.fr%2Fcgi-bin%2Fgoto%3Fsite%3D37532&btnG=Recherche+Google&meta=[/url]
qui est le lien http://www.indexa.fr/cgi-bin/goto?site=37532 cité plus haut connu par google ....

Indexa a écrit:
Le problème c'est que nous mettons à jour les URL dans notre annuaire sans pour autant changer l'appel, c'est à dire le numéro du site. Comme GG ne reteste pas la redirection, il n'y a jamais mise à jour du lien. C'est pourquoi nous continuons à faire du 302
jeanluc a écrit:
C'est une solution très douteuse. Il serait préférable de ne pas réutiliser d'anciens numéros de site..

.

Oui tu as raison, on devrait réinscrire le site...mais c'est une solution plus longue à gérer donc plus couteuse. Il faudrait qu'on fasse payer les modifs, ce qu'on ne fait pas pour l'instant.

Je suppose que c'est un ID unique dis comme tels lors de la creation de la table (primary keys).
Question, en quoi cela prend plus de temps de modifier l'id, en meme temps que les autres modifications, dans la table si le numero ID est le suivant , et donc unique ....
reponse : modifier en plus la table categorie pour remplacer l'ancien ID par le nouveau ...

Indexa est un annuaire avec toutes les qualités : payant, n'ajoute rien en referencement, reserver seulement pour les entreprises ...

Ensuite , en passant par un site special qui affiche le pagerank des pages (fonctionnant tres bien pour mon site) et ne disposant pas d'autre moyen pour voir le pagerank, je contaste que ce site n'affiche pas de PR pour la plupart des pages ( PR indefenit, et pas PR0), a part pour la page index et partenaire ...
Donc je suppose que les liens d'annuaires n'ont aucune influence sur google ... ce qui fait que l'annuaire ne risque pas de recevoir des mecontentements d'autres webmasters ...

[tonguide]

Une petite parenthèse

avec les tobots tels que Googlebot

Une petite faute de frappe ds l'article

Sinon pour ma nouvelle version de tonguide (cf WWW) qui est en cours
j'ai mis ça pr l'annuaire :

Code: Tout sélectionner

<a href="http://www.*****.com" onclick="window.open('visite_page.php?id=id_du_site');return false;">*****</a>

Je pense que ça ne posera pas de problème pour la suivis des liens, mais pour les stats ça a l'air de marcher chez moi. Cela vous semble etre une bonne façon de compter les clics ... ou c'est trop "barbare" ?

Merci toujours très intéressant les articles de WRI

Un petit défaut tout de meme, il y a une qu'une toute petit nuance qui démontre une utilité des annuaires :

cet annuaire perdra une partie de son utilité (en tout cas du point du vue du référencement).

Meme si c'est un peu hors sujet, le but d'un annuaire n'est pas de fournir une passerelle au référencement sur les moteurs (un peu contradictoire) mais d'avoir des visiteurs ciblés. Il ne faut pas l'oublié (vous allez me dire, l'un n'empèche pas l'autre, c'est vrai )

[pbpub]

Pour ceux comme moi qui sont nulle en php mais qui souhaite avoir un annuaire facile à installe qui utilise le rewriting et les liens dures (une petite ligne à effacer), je vous propose netref (c'est pas de la pub mais juste pour rendre service).

La seule contrainte, c'est que le compteur ne marche plus (il faut l'enver aussi), mais pour moi ce n'est pas le but rechercher et pas ma priorité...

C'est extra et ça marche sur mon site depuis hier!

[Indexa]

Bonjour Gamin Zone !

Cela n'est qu'illusion !
Des logiciels d'aspirations ont plusieurs options avancés :
-suivre les redirections de type 302 ( redirection utilisé aussi pour des pages 404 )
-indiqué un temps entre chaque requete ( pour eviter la surcharge serveur)
-indiqué un user_agent different comme par exemple se faire passer pour un IE6

C'est sûr que si on veut aspirer un site on peut toujours y arriver. Cela prendra plus de temps, c'est tout. Mais il y a d'autres raisons confidentielles qui expliquent notre choix. On pourrait utiliser le javascript de @Rano mais sans être anti-javascript, on essaye d'éviter son utilisation. Il y a aussi une chose qui ne me plait pas dans ce script, c'est le new Image()).src. Il y a allocation d'une image qui ne sert à rien et il faudrait que la page appelée (en PHP dans son exemple) retourne une image, même vide. Est-ce le cas ? Est-ce compatible avec tous les navigateurs.
Donc pourquoi changer la redirection 302 alors qua ça fonctionne très bien et que GG la prend bien en compte. Tapez cache:http://www.indexa.fr/cgi-bin/goto?site=37532 pour vous en persuader.

Il est clair que cela montre bien le "content-type: text/html" entete utilisé par defaut par apache ...

Oui Apache met le content-type: text/html par défaut mais il est après le Location: et ça change tout !

En ce qui concerne Yahoo c'est bizarre.
Dans GG on trouve des pages http://fr.dir.yahoo.com mais dans les backlinks GG fait toujours pointer sur http://cf.dir.yahoo.com. Yahoo était bien placé pour demander des comportements spécifiques à Google, mais ce n'est pas le cas de tout le monde.

l'extension phc , c'est du PHP croisé language C ?

C'est un autre langage. Tu chercheras sur le net si ça t'intéresse.

En ce qui concerne la derniere phrase de la citation, le javascript window.location est surement le plus propre de tous cité : il n'influence en rien de lreferencement... quoique, nous avons remarqué des liens en javascript qui été suivit par google ...

Là je maintiens que c'est une grosse erreur même si GG arrive à suivre le lien. Vous avez un exemple d'annuaire qui fait ça ?

Je suppose que c'est un ID unique dis comme tels lors de la creation de la table (primary keys).
Question, en quoi cela prend plus de temps de modifier l'id, en meme temps que les autres modifications, dans la table si le numero ID est le suivant , et donc unique ....
reponse : modifier en plus la table categorie pour remplacer l'ancien ID par le nouveau ...

Tu crois qu'il n'y a que 2 tables pour gérer tout l'annuaire ?

Indexa est un annuaire avec toutes les qualités : payant, n'ajoute rien en referencement, reserver seulement pour les entreprises ...

On peut s'inscrire gratuitement dans INDEXA.
Oui on accepte seulement les pro...on va pas refaire Yahoo.
La plupart des référenceurs ne sont pas de ton avis. Tu iras voir nos partenaires.
Comme le dis "tonguide" on a notre cible et notre audience (200 000 vu en octobre 2004). On n'est pas un annuaire de pages satellites créé pour les référenceurs.
Et il n'y a pas que le PR dans la vie d'un site.