ここのところ、アクセス数は大して変わらないのに負荷だけがふわぁーっと高くなる日があったりしてるので
MT4.25ダイナミックでキャッシュ有りでのページ分割 - smilebanana
Perl版ダイナミックパブリッシングやめてみる - smilebanana
「どうせまた検索サイトのクローラーがガンガンアクセスしてきてんだろ」とか思いつつアクセスログを眺めてみました。
現状、一応クローラー対策にRobots.txtは置いてあって
User-agent:*
Crawl-Delay:180
Disallow: /mt
こんなになってます。
んで、アクセスログ見てみたら案の定

Googleさんちのぼうやが月別アーカイブにぶりんぶりんとアクセスしてきてました。(1日に125件)
おそらくそのうちのほとんどがキャッシュされていない為、アクセスごとに動的生成される→負荷。みたいな?(MTのキャッシュは基本的に有効期間1日らしい?)
あと、hosted-by.leaseweb.comとかいうホストからも同じようにカテゴリーアーカイブへアクセスされているようです。

けどもこっちは大した回数じゃない・・・けどこのホストなんかやな感じだなぁ・・・。htaccessで制限したほうがいいかなぁ・・・。
とまぁ、怪しいところからのアクセスに対しては蹴っちゃえばいいもののさすがにグーグルを蹴るのは気がひける。
しかしもうちょっと優しくアクセスしてもらいたい。
こんな時は、Googleウェブマスターツールとかいうのを使えばいいらしいです。

・・・と聞いたので登録してみたんですが
「アクセスは1日10回までにシテヨォー」
とかいうわがままは聞いてくれないのね、これ。
まぁどうせ、ある程度クロールしたらおさまるだろうし、これで様子みてみるかぁー。

コメントする