データは、アプリケーションのデプロイ、分析ワークフロー、および機械学習のイノベーションを成功させるための基盤です。データをクラウドに移動するときには、異なるユースケースに合わせたデータの移動先、移動するデータの種類、および使用可能なネットワークリソースやその他のさまざまな考慮事項を理解する必要があります。AWS では、データセットがファイル、データベース、マシンイメージ、ブロックボリューム、さらにテープバックアップであっても、データセットの移行に役立つさまざまなサービスとパートナーツールを提供しています。
AWS によって作成された一連のデータ転送サービスには、データをより効果的に移行するのに役立つ多くの方法が含まれています。これは、以下の 2 つのカテゴリに分類することができます。
- オンラインデータ転送とハイブリッドクラウドストレージ。 これらのメソッドは、VPC へのネットワークリンクの作成、AWS へのデータ転送、または既存のオンプレミスアプリケーションとのハイブリッドクラウドストレージとしての S3 の使用を簡単にします。これらのサービスは、一度に大きなデータセットのリフトとシフトを行うのに役立ち、さらにバックアップと復旧、または継続的なデータストリームといった既存のプロセスフローとクラウドストレージを統合するのに役立ちます。
- Amazon S3 へのオフラインデータ移行。100 ペタバイトのハードドライブ、または 100 TB のスーツケース大のデバイスでいっぱいのセミトラックの帯域幅を過小評価してはいけません。出荷可能で耐久性のあるデバイスを使用するこれらのオフラインデータ移行サービスは、大規模なアーカイブやデータレイクを移動する場合、あるいは帯域幅とデータ量が希望の時間枠内にネットワークを通過できない場合に最適です。
| 要件 : | 検討対象 : |
|---|---|
AWS クラウドストレージサービスへのオンラインリンク |
|
AWS リージョン内の VPC に直接ネットワークリンクを使用してデータセンターを直接接続する |
AWS Direct Connect |
ファイルシステムデータを Amazon S3 あるいは Amazon EFS にコピーまたは複製する |
AWS DataSync |
既存のオンプレミスアプリケーションをクラウドストレージに接続する
|
AWS Storage Gateway: ファイルゲートウェイ テープゲートウェイ ボリュームゲートウェイ (または) パートナー製品 |
短期間で安全に、最小限のダウンタイムでデータベースを AWS に移行する |
AWS Database Migration Service |
実行中のマシンイメージをデータと一緒に Amazon EC2 に移行する |
CloudEndure |
地理的に離れた場所で Amazon S3 へデータの読み書きをする |
Amazon S3 Transfer Acceleration |
ストリーミングデータの複数のソースを収集して取り込む |
Amazon Kinesis Data Firehose |
最小限の中断でクラウドにバックアップまたはアーカイブをプッシュする |
テクノロジーパートナーシップ |
| データを大規模なバッチで移行するオフラインの方法 | |
ペタバイト単位のデータのクラウドへのバッチでの物理的な移行 |
AWS Snowball |
オンボードストレージとコンピューティング機能を備えた、ペタバイト単位のデータのアプライアンスでの物理的な移行 |
AWS Snowball Edge |
数十ペタバイトからエクサバイトまでのデータを一括してクラウドに移行する |
AWS Snowmobile |
最善の結果を出すために、複数のサービスを組み合わせることもできます。以下の組み合わせを検討してください。
- アクティブなデータ向けに AWS DataSync、アーカイブデータセット向けに AWS Snowball Edge
- 複数の Snowballs の並列稼働
- Direct Connect と S3 CLI
- Direct Connect と APN ストレージテクノロジーパートナー
- Direct Connect と DataSync
- 仮想テープバックアップ向けの APN テクノロジーバックアップパートナーと AWS Storage Gateway (テープゲートウェイ)
特殊なケースのお客様は、 AWS でサポートします。
これらの移行方法をインターネットの補強または置き換えとして使用し、データを現在のロケーションからリフトして、直接 Amazon のデータセンターにシフトできます。開発作業や API はサポートされないため、データ転送によって既存のオンプレミスのプロセスが影響を受けることはありません。
オンプレミステクノロジーをクラウドに拡張するのに役立つ Direct Connect パートナーバンドルについてご覧ください。
Direct Connect の物理的な専用接続を使用すると、社内データセンターと AWS のデータセンターの間のネットワーク転送の速度を上げることができます。
AWS Direct Connectでは、お客様のネットワークと AWS Direct Connect のいずれかのロケーションとの間に専用のネットワーク接続を確立することができます。業界標準の 802.1q VLAN を使用して、この専用接続を複数の仮想インターフェイスに分割することができます。このようにすると、同じ接続を使用して、パブリックリソース (例えば Amazon S3 に格納されたオブジェクト) にはパブリック IP アドレススペースを使用してアクセスし、プライベートリソース (例えば、Amazon Virtual Private Cloud (VPC) 内で実行されている Amazon EC2 インスタンス) にはプライベート IP スペースを使用してアクセスすることができるので、パブリック環境とプライベート環境の間でネットワークを分離できるのです。仮想インターフェイスは、ニーズの変化に合わせて、いつでも設定変更できます。
Direct Connect サービスの詳細については、こちらをご覧ください。
AWS DataSync は、オンプレミスストレージと Amazon S3 または Amazon Elastic File System (Amazon EFS) との間のデータの移動を自動化するデータ転送サービスです。DataSync は、独自のインスタンスの実行、暗号化の処理、スクリプトの管理、ネットワークの最適化、データ整合性の検証など、移行を遅らせたり、IT 運用に負担をかけたりするデータ転送に関連する多くのタスクを自動的に処理します。DataSync を使用すると、オープンソースツールよりも最大 10 倍高速でデータを転送できます。DataSync を使用して AWS Direct Connect またはインターネットリンク経由で AWS にデータをコピーすると、ワンタイムデータ移行、定期的なデータ処理ワークフロー、およびデータ保護と復旧向けの自動レプリケーションを実行できます。
DataSync の詳細
ゲートウェイはオンプレミスで設定されており、お客様の環境と AWS クラウドを接続します。ゲートウェイはパフォーマンスやコンプライアンスの理由によりローカルでストレージが必要なハイブリッドシナリオでは理想的なソリューションですが、データを S3 にオフロードできる場合もあります。
パフォーマンスの最適化のため、AWS Direct Connect サービスとお客様のゲートウェイの併用をご検討ください。
AWS Storage Gateway サービスを使用すれば、オンプレミスでの AWS ストレージの導入が簡単にできます。既存のアプリケーションは、業界標準のブロックストレージおよびテープストレージのプロトコルでローカルのゲートウェイに接続して、Amazon S3 および Amazon Glacier にデータを保存します。
- データは圧縮され、AWS に安全に転送されます。
- ファイルゲートウェイでは、ファイルを S3 オブジェクトとして格納し、従来のファイルインターフェイスを使用してそれらにアクセスするための、オンプレミスアプリケーション用の SMB または NFS ファイル共有が提供されます。
- ボリュームゲートウェイは、EBS スナップショットとしてのポイントインタイムバックアップを使用して、ブロックボリュームをローカルに保存またはキャッシュします。これらのスナップショットはクラウド上で復元できます。
- テープゲートウェイ仮想テープライブラリ (VTL) 設定と既存のバックアップソフトウェアがシームレスに統合されることで、コスト効果の高い方法でテープを Amazon S3 で置き換えることができ、S3 Glacier および S3 Glacier Deep Archive で長期的なアーカイブを行うことができます。
AWS では、従来のバックアップとクラウドを橋渡しする物理ゲートウェイアプライアンスに関連して、業界内の多くのベンダーとパートナーシップを組んでいます。既存のオンプレミスデータを Amazon のクラウドに接続し、パフォーマンスに影響を与えずに、また既存のバックアップカタログを維持しながらデータを移行できます。
- 既存のインフラストラクチャへのシームレスな統合
- 重複の排除、圧縮、暗号化、または WAN の高速化などを提供
- 最近のバックアップをローカルでキャッシュし、すべてを AWS クラウドのボールトに保管
ゲートウェイパートナーシップの詳細については、こちらをご覧ください。
Amazon S3 Transfer Acceleration を使用すると、Amazon S3 へのパブリックインターネット経由の転送がより迅速になります。距離やインターネットの状況に関係なく、使用可能な帯域幅を最大化できます。また、特殊なクライアントや独自のネットワークプロトコルはありません。S3 バケットで使用するエンドポイントを変更するのみで、加速が自動的に適用されます。
これは、メディアのアップロード、バックアップ、ローカルデータの処理タスクなど、世界各地から中央の拠点に定期的に転送される定期的なジョブに適しています。
Amazon Kinesis Data Firehose は、ストリーミングデータを AWS にロードする最も簡単な方法です。ストリーミングデータをキャプチャして Amazon S3 および Amazon Redshift に自動的にロードし、現在お使いのビジネスインテリジェンスツールやダッシュボードでほぼリアルタイムに分析することができます。完全マネージド型サービスのため、データスループットに応じて自動的にスケールされ、継続的な管理は不要です。ロード前にデータのバッチ処理、圧縮処理、暗号化が行われるため、送信先でのストレージ量を最小化し、セキュリティを強化できます。AWS マネジメントコンソールから Firehose のデリバリーストリームを簡単に作成し、数回のクリックで設定を行い、継続的に AWS にロードされる数十万のデータソースからデータのストリーミングを開始できます。これらすべての操作にかかる時間はわずか数分です。
AWS Kinesis Firehose の詳細については、こちらをご覧ください。
Amazon では、お客様がバックアップとアーカイブを非常に簡単にクラウドで行えるよう、業界内のベンダーとパートナーシップを組んでいます。データの移動では、既存のバックアップソフトウェアに埋め込まれた S3 コネクタを経由することが最も簡単な方法である場合があります。このアプローチの明確なメリットは、バックアップカタログが一貫性のあるものになり、ディスク、テープ、およびクラウドにまたがるジョブ全体で可視性と制御性を維持できることです。
データセンターを閉鎖したり、リモートサイトのデータ転送ジョブをスケジュールどおりに維持するために必要なデータ転送や移行に、適切な帯域幅、あるいはネットワークさえ利用できないことがあります。データを移動し続けるためのオプションがあります。
Snowball はセキュアなアプライアンスを使用したペタバイト規模のデータ転送ソリューションで、AWS 内外に大容量データを転送できます。Snowball を使用すると、制限されたネットワーク帯域幅、長時間かかる転送、セキュリティ面の懸念といった、大規模なデータ転送に関する一般的な課題を解決できます。Snowball を使ったデータの転送は簡単で、速く、安全です。
Snowball サービスの詳細については、こちらをご覧ください。
Snowball Edge は、オンボードストレージとコンピューティング機能を備えたペタバイト規模のデータ転送デバイスです。Snowball Edge は、ローカルにある大規模なデータセット向けの一時的なストレージ層として、AWS 内外に大量のデータを移動するために使用することも、あるいは遠隔地やオフラインのロケーションにあるローカルワークロードを実行するために使用することもできます。
Snowball Edge の詳細については、こちらをご覧ください。
Snowmobile は、40 フィートのセキュアな輸送コンテナを利用して AWS 内外に大容量データを転送する、エクサバイト規模のデータ転送ソリューションです。Snowmobile を使用すると、ネットワークのコストが高い、転送時間が長い、セキュリティに懸念があるといった場合での、大規模なデータ転送に伴う一般的な課題に対応できます。Snowmobile によるデータの転送はカスタム契約に基づいて実施され、高速で安全であり、コストは高速インターネットの 5 分の 1 ほどで済みます。
Snowmobile サービスの詳細については、こちらをご覧ください。
AWS では、サイトから Amazon のクラウドストレージにデータを移動するための、簡単なスクリプトや CLI ツールも提供しています。
- rsync.お客様はこのオープンソースのツールとサードパーティ製のファイルシステムツールを併用して、データを S3 バケットに直接コピーします。
- S3 コマンドラインインターフェイス。 Amazon S3 CLI を使用すると、S3 バケットにデータを直接移動するためのコマンドを記述できます。
- Glacier コマンドラインインターフェイス。 Amazon Glacier CLI を使用すると、データを Glacier のボールトに移動できます。
ほとんどのプロジェクトのデータ転送は、圧倒されるようなタスクになります。 どのようにすれば、最低限の中断、コスト、および時間で、現在の場所から新しいクラウドへ適切に移動できるでしょうか? ペタバイト規模になる場合もある膨大なデータを、実際にスマートに移動するには?
また最も基本的な問題として、どれほどのデータを、どれほど遠くまで、どれほど速く移動できるかも考慮する必要があります。 理想的な環境では、以下の式を使用します。
日数 =(合計バイト数)/(メガビット/秒 * 125 * 1000 * ネットワーク利用率 * 60 秒 * 60 分 * 24 時間)
例えば、T1 接続 (1.544Mbps) を備えており、1 TB (1024 * 1024 * 1024 * 1024 バイト) を AWS 内外へ移動する場合、80% のネットワーク利用率のネットワーク接続での読み込みにかかる理論的最小時間は 82 日です。
ご安心ください。AWS には経験があります。データの移動にアンマネージド型で非常に基本的な機能しかない移行ツールを使用する場合と、上記にあるような Amazon のサービス一式のうちいずれかのサービスを選択して使用する場合では、結果が大きく異なります。
経験に基づく、私たちのご提案は以下の通りです。
| 接続 | データの大きさ | メソッド |
| 10 Mbps 未満 | 500 GB 未満 | アンマネージド型 |
| 10 Mbps 以上 | 500 GB 以上 | マネージドサービス |