ロボットのUserAgent(UA)を弾く(11)

ロボットのUserAgent(UA)を弾く(11)

Software(Tips)ロボットのUserAgent(UA)を弾く(11)

いい加減、Google と Yahoo 以外のクローラーロボットが邪魔になってきたので、気休めですが、Apache を使ってユーザーエージェント(UA)で弾くことにしました。あとは、ステータスが 403 になっているログを毎日レポートしておけば、間違って除外してしまっているアクセスにもすぐに気付けると思います。

さくらのレンタルサーバの場合は、毎朝 4 時頃に前日分のログアーカイブが作成されるので、リアルタイムのログも見れるといいのになぁ・・・。

Apache の設定例です。deny_ua の部分は適当な文字列に置き換えて下さい。

# SPAM
SetEnvIf User-Agent "Jeeves/Teoma" deny_ua
SetEnvIf User-Agent "Baiduspider" deny_ua
SetEnvIf User-Agent "BecomeBot" deny_ua
SetEnvIf User-Agent "LiteFinder" deny_ua

deny from env=deny_ua

最終更新日:

関連記事

人気記事

新着情報