ロボットのUserAgent(UA)を弾く(7)

ロボットのUserAgent(UA)を弾く(7)

bot(ボット)ロボットのUserAgent(UA)を弾く(7)

最近は面倒なので、bot を含む UA をアクセスカウント除外しています。そうしたら、偶然こんなロボットも引っかかってました。

Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html)

サーバへの負荷も考えると、そろそろ Apache で UA を弾くべきですね。Apache の負荷も上がるので、こっちには全然メリットはないですが。すべてのロボットが robots.txt を見てくれるといいんだけど・・・。

最終更新日:

関連記事

人気記事

新着情報