''魔除けのおふだ''

昨日今日と立て続けにサーチエンジンのクローラがやってきて、
公開しているページや画像を根こそぎ持って行くので、重くてしょうがない。
特に目立つのが、MSNBot と Yahoo! Slurp だ。

クローラに対していろいろ注文を付ける方法が規約で決まっている。
サイトのトップに robots.txt というファイルを置いて、この中に
いろいろ書けば、まともな相手なら従ってくれるだろうというものだ。

-http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

これによると、
 User-agent: Slurp
 Crawl-delay: 60
と書いておけば、アクセスの間隔を1分とってくれるらしい。

MSNの場合も同様だ。

-[[MSN Search | Troubleshooting issues with MSNBot and site crawling:http://search.msn.com/docs/siteowner.aspx?t=SEARCH_WEBMASTER_FAQ_MSNBotIndexing.htm&FORM=WFDD]]

とりあえず、
 User-agent: *
 Crawl-delay: 120
とでもかいて貼っておくか。人間の言葉に直すと、
 このサイトを訪れるボットさん各位
 アクセスの間隔を最低でも2分とってください。

効果あるかな？効きすぎて Google で検索できなくなったらとても困る。
そういえば Google bot と最近あまり遭遇しないのだが、最近の更新は
しっかり捕捉されてたりするので、クローラの優秀さがわかる。
トップ   一覧 単語検索 最終更新   ヘルプ   最終更新のRSS