Il est fréquent et normal que des robots viennent sur votre site. En effet, leur passage est indéniable si vous voulez être indexé dans les différents moteurs de recherche. Cependant, leurs passages faussent vos chiffres ! Je vais donc vous expliquer la méthode que j'ai mise en place.
Ce tutoriel ne traite que des robots de référencement de type google, msn, yahoo... En ce qui concerne des robots malveillants, je suis entrain de travailler dessus et je ne vais pas tarder à vous proposer un autre tuto.
Ce tuto n'a pas pour objectif de vous expliquer comment suivre les visiteurs, car il y a assez de tutoriels sur le net qui traitent cette problématique. En revanche, je vais vous rappeler l'idée.
Pour détecter le passage de vos visiteurs, il faut notamment relever les données suivantes :
C'est le minimum, après vous pouvez relever aussi la ville de connexion, la région, la latitude, la longitude etc.
Le problème qui se pose avec les robots, c'est qu'ils ont des adresses IP dynamiques ce qui complique la tâche pour les détecter. Il faut raisonner alors par type de navigateur. Si vous voyez un mot se terminant par bot il y a de fortes chances qu'il s'agisse d'un robot. Ci dessous, je vais mettre les navigateurs que j'ai recensés. Cette liste sera mise à jour au fil du temps.
Si vous avez un peu compris la logique, vous devrez créer deux tables, une pour vos visiteurs normaux et une autre pour vos robots (si vous souhaitez tout de même savoir quand est-ce qu'ils sont passés sur votre site) . Avant d'effectuer un "INSERT INTO" dans ces tables, votre script devra préciser quelle table est concernée. Pour cela, la liste des robots ci-dessous devra être mise dans la table robot. Votre script devra fixer une condition qui se résume à cela, si dans la table liste des robots, le navigateur que le script vient de relever existe dans la table robots, alors vous affectez la connexion dans la table robot, dans le cas contraire dans la table visiteur. C'est aussi simple qu'une condition Excel !
Personnellement, j'ai n'ai eu qu'à bloquer 3 navigateurs, car pour le moment seuls ces derniers indexent mon site. Pour les autres, je dois encore patienter et être à l'affût des nouveaux robots.
N'hésitez pas à donner vos liens aussi afin d'augmenter cette liste pour aider la communauté des développeurs !
Merci pour votre vote !