Datasyncを利用してS3とEFSの同期を実施

はじめに

ちょっと前のお話ですが、S3-EFS間をDataSyncを利用して同期させてみたのでブログにまとめてみたいと思います。
今回はすでにS3やEFSなど、DataSyncを稼働させる環境は用意してある前提での執筆です。ご参考程度にお考え下さい。

そもそも

DataSyncって何？って思われる方のために簡単に書いてみました。
https://aws.amazon.com/jp/datasync/

S3、EFS、FSxなどのAWSマネージドストレージやオンプレミスストレージ間で同期をかけることができるサービスです。
オンプレミスやEC2にて利用する場合は専用のAgentを搭載したサーバを用意する必要がありますが、AWSマネージドサービス間の場合ではAgentが必要ありません。
ということで、今回はAgentなしのDataSyncを触ってみたいと思います。

専用のAgentを利用した同期については、また近日中に

手順の概要

タスクの作成
タスクの開始
CloudWatch Logsの例（手順ではありません）

手順

タスクの作成

画面右上のプルダウンで「AWSストレージサービス間」を選択し、「今すぐ始める」をクリックしてください。
※オンプレミスやEC2と同期する場合は「オンプレミスストレージとAWSの間」を選択します。

送信元のロケーションを選択します。
どこのストレージからデータを送信するのか選択してください。
今回は「S3」を選択します。

S3バケットを選択すると、↑のような画面になります。
下記の通り入力し、「次へ」を選択してください。

リージョン→用途に合わせて選択してください。通常は「東京」で問題ないと思います。
S3バケット→送信元のバケットを選択してください。
S3ストレージクラス→送信先がS3の場合、ストレージクラスを選択できます。
フォルダ→送信元のバケットから特定フォルダのみ送信できます。バケット全体の場合は不要です。
IAMrole→右側の「Autogenerate」を押すと自動生成されるので推奨します。
※仮に送信先がS3の場合、Multiアップロードを可能にするロールをつけることを推奨します。

送信先の設定を行います。
今回は「Amazon EFS ファイルシステム」を選択します。

ファイルシステムを選択すると、↑のような画面になります。
下記の通り入力し、「次へ」を選択してください。

マウントパス→転送先の配下におきたい場合入力。
※入力する場合は必ず先にEFS側のディレクトリを作成しておいてください。EFS側にディレクトリが存在しないとエラーになります。
サブネット→アクセス元のサブネット。EFSが存在するサブネットを選択すれば問題ないです。

セキュリティグループ→EFSについてるSG入れれば問題ありません。EC2からEFSへアクセスするため、TCP2049ポートをアクセス元のEC2から開けておいてください。
※DataSync用にANYなどで開放する必要はありません。

暗号化→暗号化したいときに選択してください。
※暗号化を選択するとオプションでEFSアクセスポイントを指定できます。指定する場合はIAMroleを作ってあげてください。

項目としてもわかりやすいと思いますので、簡単な補足だけ行います。
帯域幅制限→DataSyncの起動中、EFSなどストレージ側のパフォーマンスに影響が出る可能性を考慮したほうがいいと思います。
スキャンするデータ→特定のファイルとフォルダを選択すると、対象パターンを入力できます。送信元のロケーション設定とうまく組み合わせてください。

スケジュール→最低でも1時間毎の同期です。分毎での同期ができないので注意してください。
分単位での設定が必要な場合はEventBridge、Lambdaと組み合わせることで実現可能です。
Cloudwatchロググループ→右側の自動生成を使うと設定が簡単にできます。
また、エラーログのみ保存するかすべてのログを保存するかの選択が可能です。

問題がなければ、「次へ」を選択し、「タスクを作成する」を選択してください。