ClicBot, le SeoBot

J’en ai parlé récemment lors d’une table ronde de l’EBG, je développe depuis des années mes propres outils pour analyser le SEO. J’ai été à bonne école, mes maîtres d’armes se reconnaîtront.

Une de mes fiertés est mon crawler SEO, ClicBot, principalement orienté Audit & Recette, basé sur les technologies PHP & ElasticSearch.

Ce dernier est plutôt abouti et permet rapidement de détecter de potentiels problèmes structurels sur un site web (Exemple, ci-dessous, on voit que les H1 de mon blogs ne sont pas très optimisés ^^). Installé sur une machine relativement puissante (Kimsufi par exemple), il peut même crawler des centaines de milliers de pages en quelques heures.

Il a également la particularité de tout enregistrer. Vraiment tout. Contenu des pages, Meta Balises sémantiques, temps de réponses décomposés, redirections, liens internes etc. Quelques minutes de crawl suffisent a voir quelles sont les pages qui reçoivent le plus de liens et quelle sémantique elles portent.

Il y a toujours beaucoup de travail dessus, particulièrement sur la prise en compte de certaines balises comme les Meta Robots (il prend en compte cependant le robots.txt), et l’amélioration de l’interface de rendu des résultats :

ClicBot SeoBot

Le type d’optimisation que j’aimerais y apporter :

Coté Robot :

  • Meilleure gestion des redirections (enregistrement des données de temps de réponse et de code de la page précédente)
  • Optimisation des indexes, et surtout des analysers
  • Plus de paramétrages (sur les séparateurs d’url par exemple)

Coté interface :

Naturellement, tous les points suivants peuvent être analysés a la main, le but est de les automatiser :

  • Navigation intra graphique
    • Eg : On sélectionne l’une des part et toutes les données se rafraîchissent avec comme filtre la part sélectionnée
  • Croisement avec les API analytiques et logs
  • Plus de graphs !

Bref, je voulais juste partager un peu avec vous l’avancement de cet outil, que j’ai beaucoup fait évoluer depuis le temps, et sur lequel je me penche de temps a autre pour y apporter encore d’autres améliorations.

Bien évidemment, ce genre d’outil n’est pas très utile pour un site de moins de 100 pages. Mais pour des sites a haute volumétrie, il devient essentiel !

Vous aimerez aussi...