Ktouth Brand. on Web

け〜くんこと K.Ktouth のだらだらした日常と突発的に作るプログラムや読み物とかの雑多サイト



[2008年03月14日]

ボット対策をちょこっとだけ

2017年08月08日 01:30更新 筆者:K.Ktouth

カレンダー機能を追加した頃から、急激にカウンターが増え始め、こんな適当な日記サイトにもかかわらず1日で1000カウントを突破するという事態に!げー

これが普通に訪問者がこれだけ来た……と言う証なら非常に嬉しい話なんですが、そんなわけもなく。当然ながら何らかのボットによるサイトキャッシュが行われているんでしょう。
tDiaryはリファラーを随時記録する上に、その間はデータファイルを排他ロックするため1リクエストでもそれなりの時間がかかります。つまりボットが集中してアクセスしてくると大変なことになります。
……ここらで一度、ボット周りの更新をしてみましたでんき

さくらのレンタルサーバの場合、標準でアクセス解析を持っていて内部で自動的にログを取ってくれていますので、まずはユーザーエージェントのチェック。

3月上旬のユーザーエージェント上位抜粋

1882016.62%Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET
1648614.56%Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1
93668.27%WWWC/1.04
74456.57%Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NE
58905.20%Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.co
52234.61%Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
40843.61%Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/
40483.57%ichiro/3.0 (http://help.goo.ne.jp/door/crawler.html)
36263.20%WebAuto/3.41 (WinNT; I)
29302.59%Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt dai
24722.18%Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.8.1.12) Gec
23002.03%Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
17561.55%DoCoMo/2.0 SH902i (compatible; Y!J-SRD/1.0; http://help.yahoo
12331.09%Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot
11411.01%DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/
10480.93%Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)
9960.88%Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)
9100.80%Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
8730.77%Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1
7950.70%msnbot/1.1 (+http://search.msn.com/msnbot.htm)
6950.61%Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2
6610.58%DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; RFCrawler-Mobile/
5950.53%Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1
5710.50%SoftBank/1.0/911SH/SHJ002/SN353686012421581 Browser/NetFront/
5370.47%Mozilla/4.0 (PSP (PlayStation Portable); 2.00)
5210.46%Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; IEMB3; IEM
4800.42%Vodafone/1.0/V705SH (compatible; Y!J-SRD/1.0; http://help.yah
4570.40%Opera/9.0 (Windows NT 5.1; U; en)
4430.39%Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; Win 9x 4.90)
4190.37%Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Mozil
4050.36%Mozilla/5.0 (Windows; U; Windows NT 5.0; ja; rv:1.8.1.12) Gec
3750.33%Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)
3680.32%Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 2
3430.30%Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.8.1.12) Gecko/
3220.28%Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FunWe
3020.27%Mozilla/4.0 (compatible; MSIE 5.5; Windows 98; Win 9x 4.90)
2940.26%Mozilla/5.0 (Windows; U; Windows NT 6.0; ja; rv:1.8.1.12) Gec
2900.26%Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; Win 9x 4.90; .
2780.25%TurnitinBot/2.1 (http://www.turnitin.com/robot/crawlerinfo.ht
2620.23%KDDI-CA33 UP.Browser/6.2.0.10.4 (compatible; Y!J-SRD/1.0; htt
2390.21%DoCoMo/2.0 N902iS(c100;TB;W24H12)(compatible; moba-crawler; h
2170.19%Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoP

3月に入ってからの2週間の記録。太字の行は明らかにロボットと判断できるUAです。
このうち標準でtDiaryがボットと判断していたのはgooglebotとmsnbotだけ。使用しているバージョンが以前のものの改造だからかYahooの現在のボットが指定されていませんでした。あとはgooのボットの名前はネタでしょうか?(笑)
中国の噂の検索サイトからもボット来てますな。

とりあえず、ボット指定に追加したので、これでしばらく様子見。
これでも重さが変わらないなら根本的な対策を取らないといけないかも……

コメント(1) [コメントを投稿する]
_ Dây Chuyền Gia Bảo2017年08月08日 01:30

コメントを投稿してください。E-mailアドレスは公開されません。 https://vangbacgiabao.vn コメントを投稿してください。E-mailアドレスは公開されません。

本日のリンク元
アンテナ
その他のリンク元
検索