アクセスログを見ると・・・
アクセスログを見ると
下のユーザエージェントからのアクセスが非常に多い
「DoCoMo/2.0 P05A(c100;TB;W24H15) (compatible; BaiduMobaider/1.0;+http://www.baidu.jp/spider/) 」が90,400HIT
Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)が56,016HIT
上はDoCoMoからのアクセスかとおもったが、後ろの方を見ると「http://www.baidu.jp/spider/」とある。baiduのロボットのようだ。
下はneverのロボット
それにしてもbaiduはＨＩＴが多すぎる、これはたった11日間でのＨＩＴ数だ。
これらのアクセスが多いということは当然サーバーに負担をかけている。
で、この対策だが
サーバーのトップディレクトリに.htaccessをおいた。
.htaccessの中身は
SetEnvIf User-Agent “Baiduspider" robo
SetEnvIf User-Agent “naver.com" robo
Order allow,deny
Allow from all
Deny from env=robo
しばらくはこれで様子を見る