お気に入りのサイトを勝手にミラー

#contents

#navi(Sakura/VPS)

**概要 [#y3b409a2]
お気に入りのサイトがあるのだが、Homepage Builderなどを使って作られている場合、RSSが無いので更新状況が分からず、サイトの全容も把握しにくい。

RSSを生成する手段がないか検討していたら、サイト丸ごとミラーすればいろいろ便利だということが分かった。

**wgetによる丸ごとミラー [#e6229d3a]
wgetコマンドにミラーを作ってくれるオプション -m がある。
下記のコマンドを実行すれば、カレント・ディレクトリの下に www.example.jp というディレクトリを作ってミラーを作ってくれる。
 cd ~/backup
 wget -m --limit-rate=20k http://www.example.jp/foo/
元のサイトに迷惑がかからないように帯域制限をかけた。

**検索 [#p90e1723]
ファイル名にスペースが混じっている場合、xargs がうまくいかなくなるので、
区切り文字をnullにするオプションを付ける必要がある。
 find ~/backup/www.example.jp -name "*.html" -print0 | xargs -0 grep $*

**ローカルアクセス [#ncb98bd2]
ミラーが保存してあるフォルダにローカルホストだけからアクセスできるようにするapacheの設定。
勝手にミラーしているので一般に公開するとまずいことになると思われるので、デスクトップのブラウザだけからアクセスできるようにする。
 Alias /example/ /home/otsuka/backup/www.example.jp/
 <Directory /home/otsuka/backup/www.example.jp>
  order deny,allow
  deny from all
  allow from localhost.localdomain
 </Directory>

**アクセス解析 [#pa2f0638]
fc2.comのスクリプトによるアクセス解析が働かないように /etc/hosts に下記のようなエントリを加えておく。
 127.0.0.1 analyzer52.fc2.com
通常のサイトのブラウズの際にも妨害してしまうが、問題ないであろう。

----
#include(免責事項)
トップ   差分 バックアップ リロード   一覧 単語検索 最終更新   ヘルプ   最終更新のRSS