Crawling

Configurer le crawl de Bingbot

Configurer le crawl de BingbotLe trafic généré par les passages de Bingbot est aujourd’hui le double de celui de Googlebot. C’est assez incompréhensible !

...


Attaque en DoS venant du serveur 80legs.com

Les ralentissements observés sur ce site étaient dûs à des crawls lancés à partir du site www.80legs.com, qui viennent de mettre de fait Apache et le serveur en DoS.

...


Bloquer le crawling de vos fichiers Css et Javascript !

C’est avec une grande déférence que Matt Cutts nous demande de ne pas bloquer Googlebot sur les accès aux fichiers Css et Javascript. Ce mini-tuto vous permettra de savoir comment bloquer l’accès à vos fichiers.

...