Bloquer le crawling de vos fichiers Css et Javascript !
30 mars 2012
C’est Google qui le dit : les fichiers Css et Javascripts permettent de fournir, à partir de son moteur, la vignette – une miniature de moins en moins miniature – du contenu de votre site. L’objectif de Google est-il d’aller plus loin encore, comme par exemple permettre aux internautes la consultation du contenu de nos sites à partir de son moteur ?
Bloquer Googlebot pour vos pages Css et vos Javascripts
Lorsque j’ai vu la vidéo où Matt Cutts nous demander de laisser au spider Googlebot l’accès aux fichiers Css et Javascript, j’ai pris la décision immédiate de bloquer l’accès à Google sur ces fichiers.
Vérifiez tout d’abord que votre fichier .htaccess situé à la racine de votre site possède les deux lignes suivantes :
RewriteEngine On
RewriteBase /
Ajoutez au dessous ces deux lignes dans le fichier .htaccess de ce site :
RewriteCond %{HTTP_USER_AGENT} Googlebot
RewriteRule \.(css|js)$ https://www.dsfc.net [QSA,R=301,L]
J’ai également ajouté à mon fichier robots.txt, à la racine de mon site :
Disallow: /*.css
Disallow: /*.js
Matt Cutts