メイン コンテンツをスキップする 補完的コンテンツへスキップ

tS3List

バケット/ファイルのプレフィックス設定に基づいてAmazon S3のファイルをリスト表示します。

tS3Listの標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtS3Listを設定するために使われます。

標準tS3Listコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。

基本設定

[Properties] (プロパティ) 説明
[Property type] (プロパティタイプ)

[Built-in] (組み込み)[Repository] (リポジトリー)のいずれかです。

[Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。

[Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。

[Use an existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

[Credential Provider] (認証情報プロバイダー)

AWSのセキュリティ認証情報を取得する方法を指定します。

  • [Static credentials] (静的認証情報): access keysecret keyをAWSセキュリティ認証情報として使用します。
  • Inherit credentials from AWS role: EMRインスタンスメタデータからAWSセキュリティ認証情報を取得します。このオプションを使用するには、Amazon EMRクラスターを開始する必要があり、このクラスターでジョブを実行する必要があります。詳細は、Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instancesをご覧ください。このオプションを使用すると、ジョブにAWSキーを配置せずにジョブを開発できるため、組織のセキュリティポリシーに簡単に準拠できます。
  • [Web Identity Token] (ウェブIDトークン): Amazon S3接続を確立するためにWebトークンを使用します。
  • Profile credentials or inherit from AWS role: ファイル(プロファイル設定ファイル)に保存されている認証情報をAWSセキュリティ認証情報として使うか、AWSロールからAWSセキュリティ認証情報を継承します。

    AWSセキュリティ認証情報は、プロファイル設定ファイルで、プロファイルにグルーピングできます。プロファイル設定ファイルには、1つ以上のプロファイルを含めます。オプションで、[Profile path] (プロファイルパス)フィールドでプロファイル設定ファイルを、[Profire name] (プロファイル名)フィールドで使用されるプロファイルを指定できます。

    [Profile path] (プロファイルパス)フィールドと[Profile name] (プロファイル名)フィールドが空のままである場合は、 <user folder>/.aws/credentialsプロファイル設定ファイルとして使われ、defaultという名前の付いたプロファイルが使われます。

    EC2インスタンスの場合は、プロファイル(特定またはデフォルトのプロファイル)が存在しないと、コンポーネントがAWSロールからセキュリティ認証情報を継承することを試行します。

このオプションはダイナミックパラメーターとして動作するほか、コンテキスト変数を使って値を割り当てることもできます。

情報メモ注: tRedshiftBulkExec、 tRedshiftOutputBulk、tRedshiftOutputBulkExecは、[Static Credentials] (静的認証情報)または[Inherit credentials from AWS role] (AWSロールから認証情報を継承)である[Credential Provider] (認証情報プロバイダー)で確立されたS3接続のみをサポートします。

[Assume role] (ロールを引き受け)

AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスをオンにすればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。

このロールに関連付けられている信頼ポリシーによって、自分のユーザーアカウントにそのロールへのアクセスが付与されていることをご確認ください。不明であれば、そのロールの所有者かAWS管理者にお問い合わせください。

  • ARN: 引き受けるロールのARN (Amazonリソース名)。このARN名は、AWSポータルで使用するロールの[Summary] (概要)ページで見つかります。このロールARNの形式は、たとえばam:aws:iam::[aws_account_number]:role/[role_name]となります。

    [Role session name] (ロールセッション名): 引き受けたロールセッションの一意識別に使用する名前を入力します。この名前には英字(大文字と小文字の両方)と数字を利用できますが、スペースを含めることはできません。また、アンダースコア( _ )の他、= , . @ - も使用できます。
  • [Session duration (minutes)] (セッション処理時間(分)): 引き受けたロールセッションをアクティブにする期間(分)。この期間をAWS管理者が設定した最大期間より長くすることはできません。値を指定しない場合、持続時間は3600秒がデフォルトとなります。

IAMロールと関連するポリシータイプの例については、AWSドキュメンテーションで[Create and Manage AWS IAM Roles] (AWS IAMロールの作成と管理)をご覧ください。
[Region] (リージョン)

リージョン名を選択するか、二重引用符で囲んで("us-east-1"など)、AWSリージョンを指定します。AWSリージョンの詳細の詳細は、Regions and Endpointsをご覧ください。

[List all bucket objects] (すべてのバケットオブジェクトのリスト表示) このチェックボックスをオンにすると、S3サーバーのすべてのファイルがリスト表示されます。

[Key prefix] (キープレフィックス): リストされるファイルのプレフィックスを入力します。これにより、そのプレフィックスを持つファイルのみが表示されます。

[Bucket] (バケット) [+]ボタンをクリックして、バケットおよびファイルプレフィックスを定義する1つまたは複数の行を追加します。

[Bucket name] (バケット名): バケット名(つまり最上位フォルダー)を入力します。そのフォルダーにあるファイルがリスト表示されます。

[Key prefix] (キープレフィックス): リストされるファイルのプレフィックスを入力します。

[List all bucket objects] (すべてのバケットオブジェクトのリスト表示)が選択されている場合は使用できません。

[Die on error] (エラー発生時に強制終了) このチェックボックスはデフォルトでオフになっています。すなわち、エラーが発生した行をスキップし、エラーが発生していない行のプロセスを完了させます。

詳細設定

[Properties] (プロパティ) 説明
[tStatCatcher Statistics] (tStatCatcher統計) このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。
Use a custom region endpoint (カスタムリージョンのエンドポイントを使用) カスタムエンドを使用する場合にこのチェックボックスをオンにし、使用するカスタムエンドポイントのURLを、表示されたフィールドに指定します。

このオプションはダイナミックパラメーターとして動作するほか、コンテキスト変数を使って値を割り当てることもできます。

[Signing region] (サインインリージョン)

STSサービスのAWSリージョンを選択します。リストにリージョンがない場合は、リージョン名を二重引用付きで入力します。デフォルト値はus-east-1です。

このドロップダウンリストは、[Assume role] (ロールを引き受け)チェックボックスがオンになっている時のみ利用可能です。

[Specify STS endpoint] (STSエンドポイントを指定)

このチェックボックスをオンにして、表示されたフィールドで、セッション認証情報の取得先とするAWS Security Token Service(STS)のエンドポイントを指定します。たとえばsts.amazonaws.comと入力します。

このサービスを利用すれば、AWSユーザー認証のため、一時的かつ権限が限定された認証情報を要求できます。そのため、使用するAWSアカウントを認証する場合は引き続きアクセスキーとシークレットキーを入力する必要があります。

使用できる STSエンドポイントの一覧の詳細は、[AWS Security Token Service] (AWSセキュリティトークンサービス)をご覧ください。STS一時認証情報の詳細の詳細は、[Temporary Security Credentials] (一時的なセキュリティ認証情報)をご覧ください。両方の記事はAWSドキュメントからのものです。

このチェックボックスは、[Assume role] (ロールを引き受け)チェックボックスが選択されている場合にのみ使用できます。

[External ID] (外部ID)

ロールの持ち主であるアカウントの管理者から外部IDを提供されている場合は、その値をここに入力します。[External Id] (外部ID)は、一定数のユーザーがロールを引き受けられるようにする一意の識別子です。

このフィールドは、[Assume role] (ロールを引き受け)チェックボックスが選択されている時のみ使用できます。

[Serial number] (シリアル番号)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、ロールを引き受けるユーザーに関連付けられているハードウェアや仮想MFAデバイスの識別番号を指定する必要があります。

このフィールドは、[Assume role] (ロールを引き受け)チェックボックスが選択されている時のみ使用できます。

[Token code] (トークンコード)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、トークンコードを指定する必要があります。このトークンコードは、MFAデバイスによって生成される時間ベースのワンタイムパスワードです。

このフィールドは、[Assume role] (ロールを引き受け)チェックボックスが選択されている時のみ使用できます。

[Tags] (タグ)

キー-値ペアという形式でセッションタグをリスト表示します。ポリシーでこれらのセッションタグを使えば、リクエストへのアクセスを許可したり拒否したりできます。

[Transitive] (推移的): このチェックボックスをオンにすると、タグがロールチェーンの次のロールまで存続することが示されます。

タグの詳細は、 AWS STSでのセッションタグの受け渡しをご覧ください。

このフィールドは、[Assume role] (ロールを引き受け)チェックボックスが選択されている時のみ使用できます。

[IAM policy ARNs] (IAMポリシーARN)

マネージドセッションポリシーとして使うIAMマネージドポリシーのAmazon Resource Names(ARN)を入力します。マネージドセッションポリシーを使ってセッションの権限を制限します。このポリシーはロールと同じアカウントに存在することが必要です。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[Assume role] (ロールを引き受け)チェックボックスが選択されている時のみ使用できます。

[Policy] (ポリシー)

セッションポリシーとして使うIAMポリシーをJSON形式で入力します。セッションポリシーを使ってセッションの権限を制限します。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[Assume role] (ロールを引き受け)チェックボックスが選択されている時のみ使用できます。

[Config client] (クライアント設定)

このチェックボックスをオンにし、[+]ボタンをクリックして、クライアントパラメーターごとに必要な行を追加し、各パラメーターに以下のフィールドの値を設定します:
  • [Client parameter] (クライアントパラメーター): セルをクリックし、リストからクライアントパラメーターを選択します。

  • [Value] (値): 選択したパラメーターの値を入力します。

このチェックボックスは、[Use an existing connection] (既存の接続を使用)チェックボックスがオフになっている場合にのみ使用できます。

詳細は、AWSのドキュメンテーションをお読みください。

[Get owner information] (所有者情報を取得) このチェックボックスをオンにすると、S3バケットの所有者を取得できます。この操作を使用するためには、s3:GetObjectAcl権限が必要です。

[Global Variables] (グローバル変数)

変数 説明

CURRENT_BUCKET_NAME

現在のバケット名。これはFlow変数で、文字列を返します。

CURRENT_KEY

現在のキー。これはFlow変数で、文字列を返します。

NB_BUCKET

バケットの数。これはAfter変数で、整数を返します。

NB_BUCKET_OBJECT

すべてのバケット内のオブジェクトの数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数は、[Die on error] (エラー発生時に強制終了)チェックボックスがオンになっている場合のみ機能します。

CURRENT_SIZE

現在のファイルのサイズ(バイト単位)。これはFlow変数で、整数値を返します。

CURRENT_LASTMODIFIED

現在のファイルが最後に変更された日付。これはFlow変数で、日付(MM-DD-YYYY形式で)を返します。

CURRENT_OWNER

現在のオブジェクトのオーナー名。これはFlow変数で、文字列を返します。

CURRENT_OWNER_ID

現在のオブジェクトのオーナーのAWS ID。これはFlow変数で、文字列を返します。

CURRENT_ETAG

現在のオブジェクトのコンテンツの16進数MD5 Hash値(128ビット)。これはFlow変数で、文字列を返します。

CURRENT_STORAGECLASS

現在のオブジェクトのために使用されるストレージクラス。これはFlow変数で、文字列を返します。

使用方法

使用方法のガイダンス 説明
使用ルール このコンポーネントは、tS3Deleteなどの他のS3コンポーネントで使用できます。
[Dynamic settings] (ダイナミック設定)

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データストラクチャーが同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは利用できなくなります。

ダイナミックパラメーターの定義法を示すユースケースについては、コンテキストベースのダイナミック接続によってデータベースからデータを読み取りと、ダイナミックにロードされた接続パラメーターを使って異なるMySQLデータベースからデータを読み取りをご覧ください。ダイナミック設定とコンテキスト変数の詳細は、ダイナミックスキーマコンテキストグループを作成し、その中でコンテキスト変数を定義をご覧ください。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。