ロボットのUserAgent(UA)を弾く(1)

ロボットのUserAgent(UA)を弾く(1)

Software(Tips)ロボットのUserAgent(UA)を弾く(1)

ふと、最近のロボット事情を調べてみようと、Apache のログからユーザーエージェント(UA)を抜き出してみる。Google や Yahoo は当然なのですが、他にも知らないロボットは結構巡回してるみたいです。少し量がありそうなものをピックアップしてみました。

compatible;Yahoo!Slurp;http://help.yahoo.com/help/us/ysearch/slurp
compatible;Googlebot/2.1;+http://www.google.com/bot.html
+http://search.msn.com/msnbot.htm
compatible;BecomeJPBot/2.3;MSIE6.0compatible;

「NintendoWii;U;;1621;」とかあると、ここ数年の進化を感じます。へぇ、Wii で見てる人とかいるんだ。とりあえず、不要なロボットやアクセスなどは、UA を使って制御するか、ソースアドレスを参考に IP アドレスを Apache レベルで弾くのが妥当なのかなぁ。

最終更新日:

関連記事

人気記事

新着情報