Crawling
Configurer le crawl de Bingbot
26 avril 2015
Le trafic généré par les passages de Bingbot est aujourd’hui le double de celui de Googlebot. C’est assez incompréhensible !
Attaque en DoS venant du serveur 80legs.com
31 octobre 2012
Les ralentissements observés sur ce site étaient dûs à des crawls lancés à partir du site www.80legs.com, qui viennent de mettre de fait Apache et le serveur en DoS.
Bloquer le crawling de vos fichiers Css et Javascript !
30 mars 2012
C’est avec une grande déférence que Matt Cutts nous demande de ne pas bloquer Googlebot sur les accès aux fichiers Css et Javascript. Ce mini-tuto vous permettra de savoir comment bloquer l’accès à vos fichiers.