AWS Snowball Edge

AWS Snowball Edge は、頑丈な物理デバイスにデータをコピーして輸送することで、ネットワーク回線に頼らず大容量データを AWS へ移行するためのオフライン移送アプライアンスです。あわせて、デバイス上で計算処理を実行できるため、回線が細い拠点や接続が不安定な現場でのデータ収集・前処理にも使われます。

解決する課題

数十テラバイトから数ペタバイトに及ぶデータを限られた回線でクラウドへ送ると、転送に数週間から数か月かかることがあります。途中で回線が詰まれば業務にも影響し、転送コストもかさみます。Snowball Edge はこの「太い回線がないのに大容量を動かしたい」という課題を、物理輸送という手段で解決します。

• 回線が細い、または不安定で、大容量データをオンラインで送りきれない
• データセンター閉鎖やクラウド移行で、短期間にまとまった量を移したい
• 工場・船舶・遠隔地など、接続が乏しい現場でデータを収集・前処理したい
• 機微なデータを、物理デバイスで暗号化したまま安全に移送したい

主要概念と用語

• Snow ファミリー: 物理デバイスでデータ移送やエッジ計算を行う一連のサービスの総称。用途や容量に応じて複数の形態がある
• Snowball Edge Storage Optimized: ストレージ容量を重視したタイプ。主に大容量のデータ移行に向く
• Snowball Edge Compute Optimized: 計算リソースを重視したタイプ。エッジでの処理やGPUを伴うワークロードに向く
• ジョブ: デバイスの注文から返送までの一連の作業単位。インポート（オンプレからクラウドへ）とエクスポート（クラウドからオンプレへ）の方向がある
• OpsHub: デバイスをGUIで管理・操作するためのアプリケーション。CLIやAPIの代わりに視覚的に操作できる
• エッジコンピューティング: デバイス上でEC2インスタンスやLambda関数を動かし、移送前にデータをフィルタ・変換する仕組み
• E Ink ラベル: デバイス側面の電子ペーパー表示。返送時に宛先が自動で切り替わり、誤配送を防ぐ

仕様・制限・クォータ

• デバイスは頑丈な筐体で、輸送中の振動・衝撃に耐える設計になっている
• 容量はタイプによって異なり、ストレージ最適化タイプほど多くのデータを格納できる
• 1ジョブあたりに扱える容量には上限があり、それを超える場合は複数台を並行して使う（クラスター構成も可能）
• デバイス上ではS3互換のエンドポイントやNFSでデータを書き込める
• 計算最適化タイプでは、デバイス上でEC2互換のインスタンスを起動できる
• 具体的な容量・台数上限・対応リージョンは変動し得るため、利用前に公式ドキュメントで最新値を確認する

内部の仕組み

ジョブを作成するとAWSからデバイスが発送されます。利用者はオンプレのネットワークにデバイスを接続し、S3互換のインターフェースやファイル共有経由でデータをコピーします。書き込まれたデータはデバイス内で暗号化され、コピーが完了したら電源を落として返送します。

返送されたデバイスはAWSのデータセンターで受領され、中のデータが指定のS3バケットへ取り込まれます。取り込みが終わるとデバイスは安全に消去され、次のジョブに回されます。E Ink ラベルにより返送先が自動表示されるため、宛名の貼り替えが不要です。

計算最適化タイプでは、デバイス上でEC2インスタンスやLambdaを動かし、移送する前にデータをフィルタ・集計・変換できます。これにより、現場で生成された生データのうち必要な部分だけを抽出してから運ぶ、といった使い方ができます。

設計パターン / ベストプラクティス

• データセンター閉鎖に伴う一括移行: 細い回線で送りきれない大容量を、複数台のデバイスに分けて並行コピーし短期間で移送する
• 遠隔地・オフライン現場での収集: 接続が乏しい拠点でデータを蓄積し、計算最適化タイプでフィルタしてから運ぶ
• 継続移送とのすみ分け: 一回限りの大量移送はSnowball Edge、常時のハイブリッド接続は Storage Gateway や DataSync、と役割で使い分ける
• 取り込み先の整理: インポート先のS3バケットやプレフィックス、ライフサイクルを事前に設計し、取り込み後すぐ整理できる状態にしておく
• 複数台の並行運用: 単一デバイスの容量を超えるなら、ジョブを分割し並行して進めることで全体の移送期間を短縮する

運用・監視

• ジョブの状態（発送・到着・コピー中・返送・取り込み完了）をマネジメントコンソールで追跡する
• 取り込み完了後は、取り込まれたオブジェクト数や容量を確認し、移送漏れがないか突き合わせる
• デバイス操作はOpsHubのGUI、または専用のクライアント・APIで行う
• エッジで計算を行う場合は、デバイス上のインスタンスやログの状態を監視し、処理が滞っていないか確認する
• 大量データのコピーは時間がかかるため、並列コピーや十分な性能のホスト・ネットワークを用意して書き込み速度を確保する

コスト

• 課金は主にジョブごとの利用料金と、標準日数を超えた追加の利用日数、そして**輸送（配送）**で構成される
• オンライン転送の転送料と異なり、物理移送では回線の太さに左右されずコストを見積もれる
• 取り込み先のS3に保存されたデータには、通常どおりS3のストレージ料金がかかる
• 細い回線で長期間オンライン転送する場合と比べ、大容量では物理移送のほうが総コストと所要時間で有利になりやすい

セキュリティ

• デバイス内のデータは保管時に暗号化され、鍵はKMSで管理できる
• デバイスのロック解除には専用の認証情報が必要で、盗難・紛失時もデータを保護する
• 取り込み完了後、デバイスは安全に消去されてから次のジョブに使われる
• アクセス権限はIAMで制御し、ジョブの作成や取り込み先バケットへの操作を最小権限に絞る
• E Ink ラベルと頑丈な筐体により、輸送中の誤配送や物理的な改ざんのリスクを下げる

関連サービス・比較

オンラインでの大容量転送に使う AWS DataSync とよく対比されます。Snowball Edge は回線に依存しない物理移送で一回限りの大量移行に向くのに対し、DataSync は回線を使ったオンライン転送を自動化・継続実行するのに向きます。回線の太さとデータ量、移送が一回限りか継続かで使い分けます。

ハンズオン / CLI例

# 1. インポートジョブ（オンプレからS3へ取り込む）を作成
aws snowball create-job \
  --job-type IMPORT \
  --resources '{"S3Resources":[{"BucketArn":"arn:aws:s3:::my-import-bucket"}]}' \
  --address-id ADID00000000-0000-0000-0000-000000000000 \
  --role-arn arn:aws:iam::123456789012:role/SnowballImportRole \
  --snowball-type EDGE_S \
  --shipping-option SECOND_DAY

# 2. ジョブの状態を確認
aws snowball describe-job --job-id JID00000000-0000-0000-0000-000000000000

# 3. アカウント内のジョブ一覧を表示
aws snowball list-jobs