ClicBot prend désormais en charge Ajax

Sur les conseils de @seo4ajax (http://www.seo4ajax.com/), j’ai pu implémenter la prise en charge du crawl Ajax, tel que décrit dans la documentation de Google.

De ce fait, il existe deux méthodes pour crawler en ajax avec ClicBot :

  1. Vous avez implémenté Escaped Fragment comme spécifié par Google
    Vous pouvez lancer un crawl basique et rapide ClicBot prendra automatiquement en charge les urls en #! ou en push state
  2. Vous n’avez pas implémenté Escaped Fragment
    Vous devez lancer le crawl avec le rendu webkit, ce qui le rend nécessairement et malheureusement plus lent (le robot fait un vrai rendu de la page)

Après quelques recherches très rapides, il semble de ce fait que ClicBot fasse partie des seuls robots orientés SEO permettant de crawler ce type d’application, les tests faits avec Xenu & Screaming Frog n’ayant pas permis de crawler les sites testés en Ajax

Les rapports fonctionnent normalement, comme pour n’importe quel site, à ceci près que la racine de catégorisation identifiée par le robot est « #! ».

N’hésitez pas a tester et à faire des retours si besoin.

Vous aimerez aussi...