2009年08月14日

naver.jpクロールによるアクセス拒否の方法

アクセスログを見ると、
頻繁にnaver.jpのロボットのアクセスがある。

しかも複数のIPアドレスで数10Mバイトにもなっている。
レンタルサーバーで転送量の制限があるサイトなので、
参ったものだ。

かなりお行儀が悪い。
naverのサイトを読んでも、
対応やFAQが不親切であると思う。
肝心なことが書かれていない。

以下、naver.jpのロボットのアクセスを禁止する方法です。
トップディレクトリにrobots.txtを用意します。

robots.txtの内容
User-agent: Yeti
Disallow: /

Yetiというのがnaver.jpのユーザーエージェントだそうです。
この分けの判らないユーザーエージェントも不親切。

ちなみに私のサイトでは
User-Agent: Teoma
Disallow: /
User-Agent: Ask Jeeves
Disallow: /
User-agent: Slurp
Disallow: /
も追加されています。

naver.jpのサーチエンジンからユーザーがアクセスすることなんてありません。
ロボットアクセスは無駄なので、アクセス拒否しましょう。
おしまい。
posted by seopoint at 13:25| Comment(1) | seo | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
貴方はnaverが嫌いなのだというのは分かった。
Posted by at 2009年08月17日 11:37
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント: