Crawling

Par Denis Szalkowski    

Configurer le crawl de Bingbot

Configurer le crawl de BingbotLe trafic généré par les passages de Bingbot est aujourd’hui le double de celui de Googlebot. C’est assez incompréhensible !

...


Attaque en DoS venant du serveur 80legs.com

Les ralentissements observés sur ce site étaient dûs à des crawls lancés à partir du site www.80legs.com, qui viennent de mettre de fait Apache et le serveur en DoS.

...


Bloquer le crawling de vos fichiers Css et Javascript !

C’est avec une grande déférence que Matt Cutts nous demande de ne pas bloquer Googlebot sur les accès aux fichiers Css et Javascript. Ce mini-tuto vous permettra de savoir comment bloquer l’accès à vos fichiers.

...