Sun, 17 Sep 2006
アクセスログがBaiduSpiderで埋めつくされていたのでdeny
ふと気が付くと、アクセスログがBaiduSpiderというUserAgentからのもので埋めつくされておりました。
調べてみると、これは中国製のクローラとのこと。毎秒複数回、毎回数時間、数日間におよぶアクセス、数日おいてまた…という感じです。こらあかん、ということでdenyすることに。
ついでに、韓国製のクローラであるNaverBotというのも同様にdeny。こちらは過去のログを遡ってみて発見しました。直近ではそうでも無かったのですが、一時期はこれも同様に凄いアクセス数でしたので…
…こいつら、目先の事しか考えていないのな。お里が知れる。