（死ねじゃないよ！シャインだよ！）
先日の事もあるので定期的にサーバー（coreserver）の負荷率を調べてるわけですが
うぉっ！2000ptこえてる。これはshareにならん！（シェアじゃないよ！シャレだよ！）
っていうかよく注意されないな、うち。同じサーバーの人ごめんなさい。これから改心します。
で、相変わらずgooglebotはナゾの単語でサイト内検索をかけておるようなんですが、最近は日に数件程度。
さすがにそれではここまでの負荷かからねーだろ、という事で休日だしアクセス履歴をよーく見てみると
Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
とかいうユーザーエージェントの人が
数分に一回、色んなページを見てまわってる。
なんと！読むのが早い人だね！shine！（死ねじゃないよ！シャインだよ！）
うちの場合、個別エントリーはアクセスがある度に毎回サーバーが作り出しているので、そんなほいほい次から次へ読み込まれると大変なんだよ！！
（実際にはキャッシュがあるので「毎回」というには語弊があるが。）
で
Baiduspider - Wikipedia
過去には非常に短い間隔で次々とリクエストを行うなどの問題によって、ウェブサーバを不安定に陥れる可能性があることからアクセス拒否を行うサイトも見られた。
これに対し、百度は日本向けウェブサイトにおいてBaiduspiderが過剰な負荷をかけたことを謝罪するとともにクローリングの頻度管理を統一するなどの対処策を発表している。
とかいう事で
ヘルプセンター - 検索全般について（利用環境について）
複数のBaiduspiderが巡回する際、1台のサーバへのリクエスト数は制限しています。
しかし、１台のサーバに複数のIPアドレスが割り当てられていると、複数のサーバと認識され、リクエスト数が増加する場合があります。
へー、そうなんだ………ってなんと！一日に767件もページ取得しといて「制限しています」とな！？（AA略
んで、本来でいうと、Robot.txtっていうファイルを置いて
-''":::::::::::::｀''＞ もうちょっと優しくアクセスしてね！ ＜
ヽ:::::::::::::::::::::￣^Ｙ^Ｙ^Ｙ^Ｙ^Ｙ^Ｙ^Ｙ^Ｙ^Ｙ^Ｙ^Ｙ^Ｙ^Ｙ^Ｙ^￣
|::::::;ノ´￣＼:::::::::::＼_,. -‐ｧ ＿_ _____ ＿_____
|::::ﾉ ヽ､ヽr-r'"´ （.__ ,´ _,, '-´￣￣｀-ゝ 、_ イ、
_,.!イ_ _,.ﾍｰｧ'二ﾊ二ヽ､へ,_7 'r ´ ヽ、ﾝ、
::::::rｰ''7ｺ-‐'"´ ; ', ｀ヽ/｀7 ,'＝=─- -─=＝', i
r-'ｧ'"´/ /! ﾊ ハ ! iヾ_ﾉ i ｲ iゝ、ｲ人レ／_ルヽｲ i |
!イ´ ,' | /__,.!/ V ､!__ﾊ ,' ,ゝ ﾚﾘｲi (ﾋ_] ﾋ_ﾝ ).| .|、i .||
`! !/ﾚi' (ﾋ_] ﾋ_ﾝ ﾚ'i ﾉ !Y!"" ,＿__, "" 「 !ﾉ i |
,' ﾉ !'" ,＿__, "' i .ﾚ' L.',. ヽ _ﾝ L」 ﾉ| .|
（ ,ﾊ ヽ _ﾝ 人! | ||ヽ、 ,ｲ| ||ｲ| /
,.ﾍ,）､ ）＞,､ _____, ,.イ ハ レ ル｀ ー--─ ´ルﾚ ﾚ´
とbot達に指示を出すらしいんですが、なんかチラッとログ見たらBaiduspiderったらRobot.txt読みに来てないし。
え？待って？それって意味なくね？
という事で、さらにアクセスログとにらめっこして、各検索エンジンのBOTがRobot.txt読んでるのかどうかまとめてみました。
|
日付 |
ユーザーエージェント |
Robot.txt読んでる？ |
アクセス数 |
|
3月21日 |
Baiduspider+ |
× |
715 |
|
Naverbot |
○ |
74 |
|
|
Googlebot |
○ |
10 |
|
|
Yahoo! Slurp |
○ |
23 |
|
|
YodaoBot |
○ |
9 |
|
|
YodaoBot-Image |
× |
274 |
|
|
msnbot-media |
○ |
14 |
|
|
3月20日 |
Baiduspider+ |
× |
808 |
|
Naverbot |
○ |
68 |
|
|
Googlebot |
○ |
39 |
|
|
YodaoBot |
○ |
21 |
|
|
YodaoBot-Image |
× |
259 |
|
|
3月19日 |
Baiduspider+ |
× |
503 |
|
Naverbot |
○ |
64 |
|
|
Googlebot |
○ |
44 |
|
|
Yahoo! Slurp |
○ |
23 |
|
|
YodaoBot |
○ |
8 |
|
|
YodaoBot-Image |
○ |
327 |
|
|
msnbot-media |
○ |
2 |
|
|
3月18日 |
Baiduspider+ |
× |
473 |
|
YodaoBot-Image |
○ |
87 |
|
|
3月17日 |
Baiduspider+ |
× |
446 |
|
3月16日 |
Baiduspider+ |
× |
463 |
大手どころは日に一回ちゃんと読んでる様子。
あとチェックしてて気付いたのは、Baiduspiderと似たよーな事をしているYodaoBot-ImageというBOTの存在。
ただこちらは毎日ではないながらも、一応Robot.txtへのアクセスが有り。
対して、ちっともRobot.txtにアクセスしてこないBaiduspider+
まぁ、たった6日分まとめただけなのであてにならないかもしれないけれども、だ。
／ ヽ
// ', 他社にできない事を
| { ＿＿＿＿＿ | 平然とやってのけるッ！
(⌒ヽ7´ ｀`ヒﾆ¨ヽ
ヽ､..二二二二二二二. -r‐''′ そこにシビれる！
/´ 〉'"＞､､,,.ィ二¨' {. ヽ ＿ ＿ あこがれるｩ！
`r､| ﾞ._(9,)Ｙ´_(9_l′ ) （ , -'′ ｀¨¨´￣｀ヽ、
{（,| `'''７､,. ､ ⌒ |/ﾆＹ { ＼
ヾ| ^'^ ′-､ ,ﾉr')リ ,ゝ､ｰ｀――-'- ∠,_ ﾉ
| ｢匸匸匚| '"|ィ'（ （,ﾉ,r'ﾞへ.￣￣,二ﾆ､ﾞ}了
, ヘｰ‐- ､ l ｜ /＾''⌒| | | ,ゝ )､,>（_9,`!i!}i!ｨ_9,） |人
-‐ノ .ヘー‐-ｨ ヽ !‐}_＿,..ﾉ ｜| /-‐ヽ| -イ,__,.>‐ ﾊ }
''"/／ヽｰ､ ﾉヽ∧ `ｰ一'´ ／ |′ 丿! , -===- ､ }くｰ- ..._
/／＾＼ ヾ-､ :| ﾊ ￣ ／ ﾉ |. { {ﾊ. Ｖ'二'二ソ ﾉ| | ｀ヽ
,ノ ヽ,_ ヽノヽ_)ﾉ:l 'ｰｰ＜. / |. ヽヽヽ._ ｀二¨´ ／ノ ﾉ
/ <＾_,.ｲ `r‐'ﾞ :::ヽ ＼ ｀丶､ |、 ＼＼'ｰ--‐''"／／
＼＿＿_,／| ! ::::::l、 ＼ ＼| ＼ ＼ヽ / ノ
いや、待て。もしかしたらRobot.txt置いてないことを超能力的に察知して、だから敢えてアクセスないようにしているのかも。
なるほど！だとするといちいち確認しに来るBOTのほうが迷惑だね！ファイルがあるかどうか、超能力で察知するべきだね！うんうん！shine!!（死ねじゃないｙ（略
で、ついカッとなってarchivesフォルダ（と、念のためmtフォルダにも（サイト内検索よけ））に.htaccessで制限をかけてしまいましたとさ。
###Access deny###
SetEnvIf User-Agent "Baiduspider+" deny_ua
SetEnvIf User-Agent "YodaoBot-Image" deny_ua
order allow,deny
allow from all
deny from env=deny_ua
YodaoBot-imageも巻き添え。だって、Yodaoなんて国内では誰も使ってないでしょ。
コメントする