Amazon S3の色々なリージョンを少しだけ試す


 Osukiniへの週次バックアップが完了していたので、S3へのバックアップ先を色々変えて試してみた。
 とはいえ、真面目に転送するとお金が一円とか二円とか掛かってしまいますからして(どうでもいい)、ほんの五〜六秒の転送で実験。

 んで、東京リージョンへのs3cmdによるputはどう見ても1MB/sは余裕で超えてたので、SaaSesネック説はほぼ終了。
 そこから大幅に速度が落ちて、シンガポール、カリフォルニア、スタンダード(バージニア?)という順に速度低下。という訳で、シンガポールにすっかな、と思ったのだが、まあいいや。転送速度に本気で困るまではスタンダードで。

 単純な比較だと、転送速度がRTTに反比例している可能性も無くはない気がしたので、サイズ違いのファイル三つを並列転送してみる。スピードの出る接続と出ない接続があるなあ。一本だけ350KB/sで、他二本が110KB/sとか。そして、350KB/sのが終わっても、他の転送速度も劇的に向上はしない。そして、バルクとしての転送速度が230KB/s相当になった辺りで転送が終了した。もしかして遅くなっただけではなかろうか。
 まあ、東京なら転送速度が出る以上、この程度の並列でOsukiniのバックボーンへの過大な負担とかも無いはずだし、他の経路は巨大インフラだから気にするレベルじゃないし、cronに投げるのは逐次でも並列でも良さそうだが、次は逐次で試そう。

 そんなことよりAPIを見てて知ったのだが、単純な転送だと1オブジェクトの上限は5GBなのな。それ以上は分割アップロードが必要らしい。100MB以上なら分割した方がいいかもよー、とか書いてある。並列転送も問題無し。
 今のところはせいぜい1ファイル2GB程度でしか使ってないが、s3cmdは分割アップロードを実装していないので、使えなくなると厳しいなー。自前で書くのも出来れば避けたいけど。

(Visited 7 times, 1 visits today)

コメントを残す

メールアドレスが公開されることはありません。

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください