お気に入りのサイトを勝手にミラー

概要 †

お気に入りのサイトがあるのだが、Homepage Builderなどを使って作られている場合、RSSが無いので更新状況が分からず、サイトの全容も把握しにくい。

RSSを生成する手段がないか検討していたら、サイト丸ごとミラーすればいろいろ便利だということが分かった。

wgetによる丸ごとミラー †

wgetコマンドにミラーを作ってくれるオプション -m がある。下記のコマンドを実行すれば、カレント・ディレクトリの下に www.example.jp というディレクトリを作ってミラーを作ってくれる。

cd ~/backup
wget -m --limit-rate=20k http://www.example.jp/foo/

元のサイトに迷惑がかからないように帯域制限をかけた。

↑

検索 †

ファイル名にスペースが混じっている場合、xargs がうまくいかなくなるので、区切り文字をnullにするオプションを付ける必要がある。

find ~/backup/www.example.jp -name "*.html" -print0 | xargs -0 grep $*

↑

ローカルアクセス †

ミラーが保存してあるフォルダにローカルホストだけからアクセスできるようにするapacheの設定。勝手にミラーしているので一般に公開するとまずいことになると思われるので、デスクトップのブラウザだけからアクセスできるようにする。

Alias /example/ /home/otsuka/backup/www.example.jp/
<Directory /home/otsuka/backup/www.example.jp>
 order deny,allow
 deny from all
 allow from localhost.localdomain
</Directory>

↑

アクセス解析 †

fc2.comのスクリプトによるアクセス解析が働かないように /etc/hosts に下記のようなエントリを加えておく。

127.0.0.1 analyzer52.fc2.com

通常のサイトのブラウズの際にも妨害してしまうが、問題ないであろう。

免責事項

ここに記載されている内容を実際に運用した場合のトラブルに関しては一切責任を負えませんのでご了承ください。
Copyright 2000-2011 Koichi Otsuka

Sakura/VPS/Mirror Site

目次