Catégorie : Robots

ClicBot prend désormais en charge Ajax 1

ClicBot prend désormais en charge Ajax

Sur les conseils de @seo4ajax (http://www.seo4ajax.com/), j’ai pu implémenter la prise en charge du crawl Ajax, tel que décrit dans la documentation de Google. De ce fait, il existe deux méthodes pour crawler en ajax...

Fonction / Classe simple pour parser un robots.txt 0

Fonction / Classe simple pour parser un robots.txt

Voici une fonction simpliste pour gérer les fichiers robots.txt : class robots { function formatRobot($Instruction) { $Instruction=str_replace(« * », « .* », $Instruction); $Instruction=str_replace(« / », « \/ », $Instruction); return $Instruction; } function robot($robots, $url) { $block=false; foreach($robots as $RobotLine) {...