10TBで50ユーロ/年と、格安だけどデータセンターが遠いため日本からだと速度が出ないことが欠点のオンラインストレージのhubicを有償プランにアップグレードしてみました。
通常は、Windows/Androidなどのネイティブアプリか、WEBブラウザからのアクセスなのですが、hubicはAPIが公開されているため、それを利用したlinux/fuseを使ってマウントするためのコードや、duplicity/duplicatiによるバックアップなどもサポートしています。
有償プランを契約した目的は、災害対策用の遠隔バックアップですが、保存したいデータはスキャンした文書ファイルや、デジカメ写真など、流出したりすると非常によろしくないデータなので、事前に圧縮してから保存することにしました。
で、そのツールとしてduplicityを選択したのですが、duplicityから直接hubicに保存はどうも安定しない。バックアップは取得できるけど、リストアができない。どうも、バックアップファイルサイズの上限に引っかかっている様子。targetにcfを使うと–volsizeオプションが効いておらず分割されないっぽい。デジカメ写真とか150GBあるしね。
duplicity full src cf+hubic://default/Backups/
というわけで、一度ローカルに保存して、hubicfuseでマウントしたディレクトリに移動するという方法で対処。mvコマンドを並列実行することによって、遠隔地による遅さを多重セッションによりカバー。ざっくりですが、7Mbpsぐらいは出ています。遠隔バックアップなので、バックアップに何日かかったとしても全く問題なし。
duplicity full src file:///tmpdir
ls |xargs -P 5 -I SRCFILE mv SRCFILE tmpdir