•   Login
  •  
  •   Rss
  •   Rss2.0
  •   ATOM1.0
  •   Admin
  •   Top
  •   Home

おイタをするクローラーには退場してもらった

お気付きであろうか。
スマホやタブレットでこのブログを読むと気付きませんが、PCだと「おや?」と気付くはずです。


そう、カウンター数が桁違いに減ったことを・・・


この通り。

カウンター数


前日が規制する前、当日が規制後です。
どうです!この減りザマ!


なんかね、おかしいと思ったんですよ。
1日万単位でカウンターが廻っている割に、アフィリエイトでは収益伸びないですし、Web解析ではbotばかりのログ。
絶対にこれはおかしいなぁ。と思って先々週の連休中に解析したんですよ。
そしたらですね、このザマですよ。


ログ一覧


これは、規制後のログ一覧ですが、変なボットやクローラーがPHPの脆弱性を突いたさぐり方をしているんですよ。
マイクロソフトのbingbotですら怪しいURLを投げて解析する始末。


そこで、てっとりばやく.htaccessによるブロックを行いました。
ブロックを行う前の解析は、ご覧の通り。
規制前


httpコード403の数は一桁でした。
それが翌日には・・・
規制後


5桁に爆増!
効果は絶大ですなぁ。
これまで、クローラーが1日のカウンター数の95%を稼いでいたわけですね。
どおりでおかしいと思いました。
これで、やっとまともなカウンターが機能しました。
もともと、このカウンターは「同じIPアドレスで訪れた場合カウントしない。」に設定されているのです。
だから、万単位で来るのは、このブログにはそんなに需要があるのか?と不思議に思っていたんですよ。
いや、人気のあるブログなら10万100万と稼いでいると思いますが、このブログは私の生きている証しをただただ書いているだけ。
技術的なところやレビューを時々書いている程度です。
だから、「なんでもや」なんです。


さて、こう言うおイタをするクローラーを締め出すのは簡単です。
.htaccessに下記のように記述すれば収集されなくなります。

RewriteEngine on
SetEnvIfNoCase User-Agent "bot名" ua=on

#SetEnvIf User-Agent "
Options +Includes -Indexes

RewriteCond %{ENV:ua} on
RewriteRule ^(.*)$ - [F,L]


bot名の所にbingbot なんかを入れると弾いてくれます。
お困りの方は是非ともお試し下さいませ。


記事を評価してください(★1つ=悪い、★5つ=良い)
この記事の平均評価: (10人)
Posted by いぐぅ 06:00 | システム::linux | comments (0) | trackback (0)
コメント
コメントする









この記事のトラックバックURL
http://www.sir-2.net/dablg/tb.php/7916
トラックバック

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30