E-Commerçants, évitez les paginations !
Un des aspects intéressants de ClicBot, est d’analyser les taux de crawl et de pages active par type de page. Cela permet de voir rapidement quelles sont les pages les moins efficaces. Et un...
Un des aspects intéressants de ClicBot, est d’analyser les taux de crawl et de pages active par type de page. Cela permet de voir rapidement quelles sont les pages les moins efficaces. Et un...
Ceci est un article d’archive ressuscité suite à une discussion. Il date du 5 mai 2012. Avec les diverses mises a jour de google nommées Panda, Penguin & co, tout le monde n’a a priori pas...
Intéressant ce User Agent de Google n’est-ce pas ? « Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) » Je précise, l’IP...
J’en parlais récemment, Googlebot a augmenté considérablement son crawl sur les url’s en Ajax. Restait encore a démontrer qu’il indexait les contenus associés de façon convenable. Un petit update de la courbe de crawl...
Je constate depuis quelques jours une augmentation importante des appels Ajax de la part de Google avec un referer et en méthode POST. Cela fait longtemps que ce dernier crawle ces contenus (en l’occurrence sur l’exemple...
Pour ceux qui surveillent un peu l’activité des robots de Google sur leur site web, vous n’aurez pas été sans remarquer ces derniers temps que google s’amuse à crawler les appels ajax que vous...