Sur les conseils de @seo4ajax (http://www.seo4ajax.com/), j’ai pu implémenter la prise en charge du crawl Ajax, tel que décrit dans la documentation de Google. De ce fait, il existe deux méthodes pour crawler en ajax...
Un des aspects intéressants de ClicBot, est d’analyser les taux de crawl et de pages active par type de page. Cela permet de voir rapidement quelles sont les pages les moins efficaces. Et un...
J’en parlais dans un précédent article, j’utilise depuis des années des robots pour contrôler l’intégrité structurelle des sites sur lesquels je travaille et déclencher de correctifs voir des projets en SEO. Je me suis...
J’en ai parlé récemment lors d’une table ronde de l’EBG, je développe depuis des années mes propres outils pour analyser le SEO. J’ai été à bonne école, mes maîtres d’armes se reconnaîtront. Une de...
Intéressant ce User Agent de Google n’est-ce pas ? « Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) » Je précise, l’IP...
J’en parlais récemment, Googlebot a augmenté considérablement son crawl sur les url’s en Ajax. Restait encore a démontrer qu’il indexait les contenus associés de façon convenable. Un petit update de la courbe de crawl...
Je constate depuis quelques jours une augmentation importante des appels Ajax de la part de Google avec un referer et en méthode POST. Cela fait longtemps que ce dernier crawle ces contenus (en l’occurrence sur l’exemple...
Pour ceux qui surveillent un peu l’activité des robots de Google sur leur site web, vous n’aurez pas été sans remarquer ces derniers temps que google s’amuse à crawler les appels ajax que vous...
