Pas de Detection de Fast

[Kmacleod]

Alors que les passages de googlebot ou pompos sont bien détectée, je remarque dans le module "les visiteurs " que
FAST-WebCrawler/3.6 66.77.73.75 cr036r01-2.sac2.fastsearch.net est passé.
Dans googlestats je n'ai rien
ce moteur est bien configue avec détection par IP avec 66.77.73. (configuration d'origine)

Quelqu'un d'autre a t'il remarqué celà, ou le pb est chez moi uniquement (pb sur SQL par exemple)

[Gralon]

même souçis,
quand je regarde mes logs, je vois bien fast mais pas dans googlestats ...

[hetzeld]

J'avais moi aussi des problèmes de détection, probablement à cause du strpos qui ne donne pas toujours le résultat escompté. J'ai donc adapté le code et maintenant il détecte bien tous ceux qui sont passés, dont Fast.

J'ai changé la syntaxe du while, car si le robot est détecté ce n'est pas utile de continuer la boucle et de vérifier pour les autres, d'ou le test pour $detecte===false (!! 3 fois =)
J'ai aussi changé les strpos en strstr qui me semblent plus "fiables"... question de goût
Un dernier changement pour la syntaxe de détection par l'adresse IP qui gère mieux le cas où une seule adresse est spécifiée (Cas de Fast par défaut) Il y a un bug dans le code originel

Code: Tout sélectionner

// par defaut le robot n'est pas détecté.
$detecte = false;

while (($detecte === false) && ($enr = mysql_fetch_array($res)))
{
  // selon le mode de détection du robot :
  if ($enr["detection"] == $DETECTION_USER_AGENT)
  {
    // on détecte le robot en regardant son User Agent
    if(strstr($_SERVER["HTTP_USER_AGENT"], $enr["user_agent"]) !== false)
      $detecte = true;
  }
  else if ($enr["detection"] == $DETECTION_IP)
  {
    // on détecte le robot par son adresse IP
   if ((($enr["ip1"] != "") && (strstr($_SERVER["REMOTE_ADDR"], $enr["ip1"]) !== false)) || (($enr["ip2"] != "") && (strstr($_SERVER["REMOTE_ADDR"], $enr["ip2"]) !== false)))
      $detecte = true;
  }
  // si le robot a été détecté, on enregistre sa visite
  if ($detecte == true)
  {
... (suite le code originel)


A+

Dan

[WebRankInfo]

c'est bizarre car la détection d'autres robots par l'adresse IP fonctionne bien !
faudrait essayer de le détecter par le user agent peut-être ?

[Gralon]

juste en remettant la même adresse ip dans le deuxième champs ip du moteur, ça fonctionne ...

faudra que je regarde un peu ce code tout de même ...

[hetzeld]

Olivier,

Ton test initial ne peut pas fonctionner en détection d'IP s'il n'y a qu'une seule adresse mentionnée.

Code: Tout sélectionner

if ( ($enr["ip1"] != "") && ($enr["ip2"] != "")

n'est vrai que si les deux tests sont vrais ,c.à.d ip1 ET ip2 définis



Dan

[hetzeld]

Mea Culpa...
J'avais corrigé le code depuis un moment, et oublié de le poster ici ...
Ce n'est qu'en lisant l'article de Kmacleod que j'ai fait TILT!
Non... pas sur la tête !

Dan

[Gralon]

c'est clair ...

[WebRankInfo]

bon je crois que ça va mériter rapidement une petite version 2.01 !!!

[Gralon]

bon ben moi j'ai tout enlever la partie

-----------------------------------------------------------------------------------------------
// par defaut le robot n'est pas détecté
$detecte = false;

// selon le mode de détection du robot :
if ($enr["detection"] == $DETECTION_USER_AGENT)
{
// on détecte le robot en regardant son User Agent
$pos = strpos(strtolower($_SERVER["HTTP_USER_AGENT"]), strtolower($enr["user_agent"]));
//$detecte = (is_string($pos) && !$pos));
$detecte = ($pos !== false);
//echo "|".$enr["nom"]."|".$_SERVER["HTTP_USER_AGENT"]."|".$enr["user_agent"]."|".$pos."|".$detecte."|
";
}
else if ($enr["detection"] == $DETECTION_IP)
{
// on détecte le robot par son adresse IP
if ( ($enr["ip1"] != "") || ($enr["ip2"] != "") )
$detecte = ( (strpos($_SERVER["REMOTE_ADDR"], $enr["ip1"]) !== false) || (strpos($_SERVER["REMOTE_ADDR"], $enr["ip2"
]) !== false) );
}

// si le robot a été détecté, on enregistre sa visite
if ($detecte)
{
------------------------------------------------------------------------------------------
et remplacé par une recherche directe dans la requête mysql ce qui empeche la boucle php :

$sql = "SELECT *";
$sql .= " FROM ".$TABLE_ROBOTS;
$sql .= " WHERE ((user_agent = \"$_SERVER[HTTP_USER_AGENT]\" and user_agent !=\"\") || (\"$_SERVER[REMOTE_ADDR]\" REGEXP CONCAT('^',
ip1) and ip1 !=\"\") || (\"$_SERVER[REMOTE_ADDR]\" REGEXP CONCAT('^', ip2) and ip2 !=\"\"))";
$sql .= " and actif=1";

-------------------------------------------------------------------------------------------

et ça marche bien ...

-----------
juste une remarque, faire attention soit de vérifier que vous utliser les magic quotes ou bien vous devez faire un addslashes du user agent ...

[WebRankInfo]

ça me parait une bonne idée mais tu n'utilises plus la variable "mode de détection" ?

[Kmacleod]

Merci Dan

[WebRankInfo]

tant qu'à remplacer le strpos, je me demande si on ne devrait pas utiliser

Code: Tout sélectionner

$detecte = (stristr($_SERVER["HTTP_USER_AGENT"], $enr["user_agent"]) !== false);

au lieu de

Code: Tout sélectionner

$pos = strpos(strtolower($_SERVER["HTTP_USER_AGENT"]), strtolower($enr["user_agent"]));
$detecte = ($pos !== false);

?

[Gralon]

Non plus besoin d'utiliser la variable de détection puisque cela fonctionne dans les deux cas ... avec cette requete (à modifier si on veut rendre la recherche de l'agent plus "lâche")...

de plus, avec cette requête on évite donc la boucle php qui teste tous les moteurs (gain de charge process apache)
et le must pour ceux qui sont en mysql 4 avec le query cache activé, c'est le pied ... prenons un exemple :

l'internaute : 195.65.65.65 avec agent mozilla 4.0 passe sur le site, la requete est executé une première fois : (recherche si c'est un robot), il n'y a pas de réponse (la query est mis dans le cache),
maintenant cet internaute se promène sur le site, la requete est dans le cache (gain de process mysql) et gain de process php/apache car pas de boucle de vérification ...

idem quand un robot passe ...

[hetzeld]

Gralon,

Cela a l'air bien et je suis d'accord avec toi quant à l'inutilité de poursuivre la boucle PHP comme dans la version originale une fois un robot détecté.
Pour être sûr qu'on parle tous du même source, pourrais-tu poster l'intégralité de ta modification, sinon on risque de partir sur quelques dizaines/centaines/.. de versions différentes ?

Par exemple, "remplacer les lignes 20 à 50 par ce qui suit:" (ton code)

Dan