Se délester du trafic non vu émanant des bots
7 janvier 2019
Dans un billet datant de décembre 2014, j’évoquais l’explosion du trafic non vu, qui, à l’époque, s’établissait à 5774504 pages vues dans l’année. En 2018, ce trafic non vu, pour l’essentiel issu des bots, i.e. des robots d’exploration des moteurs en tout genre, a atteint les 6686923 pages vues.
Délestage du trafic non vu
Afin de contenir ce trafic qui nous vole les ressources de nos serveurs Apache, je viens décider de m’en délester d’une partie, en redirigeant les bots des services payants vers FeedBurner. J’ai ajouté à ma configuration Apache les deux lignes suivantes :
RewriteCond %{HTTP_USER_AGENT} "(; |^|@|/|.)?(Ahrefs|Cliqz|Dot|linkfluence|MJ12|[mM]oreover|Nuzzel|[oO]wlin|Rewyer|rogerbot|semantic-visions|Semrush|Slack|[sS]ociallymap|Superfeedr|ubermetrics|YaK)([bB]ot)?(/| |-|.)?"
RewriteRule ".*" "https://feeds.feedburner.com/dsfc?format=xml" [QSA,R=302,L]
J’ai fait plus cool que les choix opérés en 2016.