<< ネコロジー || 勉強したくない人の1週間 ≫

GoogleさんはCrawl-Delayを見ていないらしい

| | コメント(0) | トラックバック(0) |[] 1953  

ここのところ、アクセス数は大して変わらないのに負荷だけがふわぁーっと高くなる日があったりしてるので

MT4.25ダイナミックでキャッシュ有りでのページ分割 - smilebanana
Perl版ダイナミックパブリッシングやめてみる - smilebanana

「どうせまた検索サイトのクローラーがガンガンアクセスしてきてんだろ」とか思いつつアクセスログを眺めてみました。

現状、一応クローラー対策にRobots.txtは置いてあって

User-agent:*

Crawl-Delay:180

Disallow: /mt

こんなになってます。

んで、アクセスログ見てみたら案の定

Googleさんちのぼうやが月別アーカイブにぶりんぶりんとアクセスしてきてました。(1日に125件)

おそらくそのうちのほとんどがキャッシュされていない為、アクセスごとに動的生成される→負荷。みたいな?(MTのキャッシュは基本的に有効期間1日らしい?)

あと、hosted-by.leaseweb.comとかいうホストからも同じようにカテゴリーアーカイブへアクセスされているようです。

けどもこっちは大した回数じゃない・・・けどこのホストなんかやな感じだなぁ・・・。htaccessで制限したほうがいいかなぁ・・・。

とまぁ、怪しいところからのアクセスに対しては蹴っちゃえばいいもののさすがにグーグルを蹴るのは気がひける。

しかしもうちょっと優しくアクセスしてもらいたい。

こんな時は、Googleウェブマスターツールとかいうのを使えばいいらしいです。

・・・と聞いたので登録してみたんですが

「アクセスは1日10回までにシテヨォー」

とかいうわがままは聞いてくれないのね、これ。

まぁどうせ、ある程度クロールしたらおさまるだろうし、これで様子みてみるかぁー。

トラックバック(0)

このブログ記事を参照しているブログ一覧: GoogleさんはCrawl-Delayを見ていないらしい

このブログ記事に対するトラックバックURL: http://www.smilebanana.com/mt/mt-tbx.cgi/1951

コメントする

このブログについて

  • 管理人はbananaです。
  • 連絡その他は

    まで。