Data Prep用のAmazon S3コネクター¶
ユーザーペルソナ:Data Prepユーザー、Data Prep管理者、またはデータソース管理者
備考
この文書は、コネクターの設定中に利用できるすべての構成フィールドについて論じています。 一部のフィールドは、設定の以前の手順で管理者によってすでに入力されている場合があり、表示されない場合があります。 Data Prepのコネクターフレームワークの詳細については、Data Prepコネクターのセットアップを参照してください。 また、管理者がこのコネクタにデータソースのリストで別の名前を付けている可能性があります。
Data Prepの設定¶
このコネクターにより、Amazon S3オブジェクトストレージに対してデータをインポートおよびエクスポートできるようになります。次のフィールドを使用して、接続パラメーターを定義します。
一般¶
-
名前:UIでユーザーに表示されるデータソースの名前。
-
説明:UIでユーザーに表示されるデータソースの説明。
ヒント
Data Prepを複数のS3バケットに接続できます。わかりやすい名前を使用すると、ユーザーが適切なデータソースを識別する上で非常に役立ちます。Data Prep SaaSを使用している場合は、Data Prep DevOpsにこのセットの希望の旨をお知らせください。
Amazon S3 クライアントの設定¶
-
バケット名: AS3バケットは、Amazon S3に保存されているオブジェクトの集合を表します。 コネクターには、s3:ListBucket、s3:GetObject、およびs3:PutObject (エクスポートの場合のみ) のアクセス権限が必要です。 さらに 、バケットポリシーにSourceIP条件ブロックが指定されている場合は、メインコアサーバーとオートメーションコアサーバー(ある場合)のIPアドレスを含める必要があります。
詳細については、この記事の下部にあるAWS S3バケットのアクセス許可/ポリシーの詳細を参照してください。
-
プレフィックス:指定されたプレフィックスで始まるキーのみに結果を制限します。
-
暗号化タイプ:サーバー側の暗号化に使用するタイプです。詳細については、AWS暗号化タイプを参照してください。
-
バケットリージョン:このオプションを使用すると、ユーザーはS3バケットがホストされているリージョンを指定したり、コネクタがリージョンを自動的に決定するように選択したりできます。
Amazon S3認証¶
これらのオプションで、S3 の認証方法を指定します。
-
AWS資格情報:ユーザーのAWSアクセスキーに関連付けられたアクセスキーIDとシークレットキー。これはデフォルトの設定です。
詳細については、AWSのセキュリティ資格情報を参照してください。
-
インスタンスプロファイル(IAMロール):このテナント内のすべてのユーザーを、個別に認証することなくAWSにアクセスできるようにします。
詳細については、インスタンスプロファイル(IAMロール)を使用して Amazon EC2上のAWSリソースへのアクセスを許可するを参照してください。
備考
このコネクターは、EC2サーバーインスタンスから認証情報を自動的に取得します。
-
IAMクロスアカウント:S3へのアクセスを有効にするには、設定されたS3バケットにアクセスできる別のAWSアカウントのロールを引き受けます。
詳細については、クロスアカウントのアクセスを参照してください。
備考
インスタンスプロファイル(IAMロール)およびIAMクロスアカウントオプションの場合、Data PrepがアマゾンEC2ホストにインストールされている必要があります。
Webプロキシ¶
プロキシサーバーを介してAmazon S3に接続する場合、これらのフィールドでプロキシの詳細を定義します。
- Webプロキシ:プロキシが不要な場合は「なし」、プロキシサーバー経由でZendesk RESTエンドポイントに接続する必要がある場合は「プロキシ」。Webプロキシサーバーが必要な場合、プロキシ接続を有効にするには以下のフィールドが必要です。
- プロキシ ホスト: Web プロキシ サーバーのホスト名または IP アドレスです。
- プロキシサーバー:データソースのプロキシサーバー上のポート。
- プロキシ ユーザー名:プロキシ サーバーのユーザー名です。
- プロキシ パスワード:プロキシ サーバーのパスワードです。 *認証されていないプロキシ接続の場合は、ユーザー名とパスワードを空欄にしてください。
その他の設定¶
ソケットタイムアウトの秒数:確立された接続でAmazon S3からの応答を待つ秒数です。デフォルト値は5分です。大きなファイルのエクスポートを処理するには、この値を増やします。
データのインポートとエクスポートに関する情報¶
ブラウジング経由¶
コネクターは、プレフィックスフィールドで定義された場所から始まるブラウズ可能なディレクトリ階層を表示します。
コネクターはワイルドカードとグロブのインポートもサポートしているため、ユーザーは複数のS3データファイルを単一のデータセットとしてData Prepにインポートできます。
SQLクエリー経由¶
S3はファイルストアであるため、このデータソースではSQLクエリーはサポートされていません。AWS S3データに直接クエリーを実行したい場合は、Data PrepのAWS Athenaコネクターに関してカスタマーサクセス担当者に連絡してください。
AWS S3バケットのアクセス許可/ポリシーの詳細¶
このセクションでは、S3バケットポリシーで割り当てる必要があるアクセス権限と、バケットポリシーでSourceIP条件ブロックが指定されている場合に行う必要があることを確認します。
必要な権限¶
AWS S3 コネクターでは、S3 からのデータのインポート、S3 への公開、S3 ソースからのインポートの自動化を正しく実行できるように、S3 バケット ポリシーに特定の権限が必要です。サマリーを以下に示します。
- コネクターは、ブラウジングには、バケットでの、s3:ListBucket の権限が必要です。
- バケットの内容をインポートするには、Data Prepに s3:GetObject の権限が必要です
- バケットにエクスポートするには、Data Prepに s3:PutObject の権限が必要です
サンプルバケットポリシーの例¶
最小のポリシー権限¶
S3 バケットからの読み取りに必要なMinimum(最小)のポリシー権限は次のとおりです。
S3 バケットへの書き込みに必要なMinimum(最小)のポリシー権限は次のとおりです。
S3バケットの詳細については、Amazon S3バケットの操作を参照してください。
SourceIP 条件ブロック¶
バケットポリシーでSourceIP条件ブロックが指定されている場合、Data PrepクラウドサーバーまたはData Prepコアサーバー(Data Prepデプロイに応じて)のIPアドレスをSourceIP条件ブロックに含める必要があります。さらに、自動化専用のData Prepサーバーがある場合は、オートメーションサーバーのIPアドレスもSourceIP条件ブロックに含める必要があります。
Data Prepのカスタマーサクセスチームに問い合わせて、Data PrepクラウドサーバーのIPアドレスのリストを取得してください。
条件ブロックの要素と例の詳細については、ポリシーでの条件の指定およびIdentity and Access Management(IAM)ポリシー要素のリファレンスを参照してください。