tRedshiftOutputBulkの標準プロパティ
これらのプロパティは、標準のジョブのフレームワークで実行されているtRedshiftOutputBulkを設定するために使われます。
標準のtRedshiftOutputBulkコンポーネントは、Cloudファミリーとデータベースファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。
基本設定
[Database] (データベース) |
データベースのタイプをリストから選択し、[Apply] (適用)をクリックします。 |
[Data file path at local] (ローカルデータファイルパス) |
生成するファイルへのローカルパスを指定します。 このファイルは、Studioがインストールされているか、またはこのコンポーネントを使っているジョブがデプロイされているのと同じマシンに生成されます。 |
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 |
|
[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 |
|
[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 |
|
スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
|
[Compress the data file] (データファイルを圧縮) |
このチェックボックスをオンにして、表示されたリストから圧縮タイプを選択し、データファイルを圧縮します。 [Append the local file] (ローカルファイルの追加)チェックボックスをオンにすると、このフィールドは表示されなくなります。 |
[Encrypt] (暗号化) |
データファイルを生成し、クライアント側の暗号化を使ってAmazon S3にアップロードするには、このチェックボックスをオンにします。[Encryption key] (暗号化キー)フィールドが表示されたら、ファイルの暗号化に使う暗号化キーを入力します。 デフォルトでは、このチェックボックスはオフになっており、データファイルはサーバー側の暗号化を使ってAmazon S3にアップロードされます。 情報メモ注: このオプションは、[Use an existing S3 connection] (既存のS3接続を使用)が選択されていない場合に利用できます。
クライアント側とサーバー側の暗号化については、暗号化を使用したデータの保護 (英語のみ)をご覧ください。 |
[Use an existing S3 connection] (既存のS3接続を使用) |
定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。 |
[Credential Provider] (認証情報プロバイダー) |
AWSセキュリティ認識情報を取得する方法(Static CredentialsまたはInherit credentials from AWS role)を指定します。
情報メモ注: このドロップダウンリストはTalendのR2021-07以降のStudioマンスリーアップデートをインストールした時のみ利用できます。詳細は管理者にお問い合わせください。
|
[Access Key] (アクセスキー) |
AWSアカウントを一意に識別するアクセスキーIDを指定します。アクセスキーとアクセスシークレットを取得する方法は、Getting Your AWS Access Keys (英語のみ)をご覧ください。 情報メモ注: このオプションは、[Credentials provider] (認証情報プロバイダー)ドロップダウンリストから、Use an existing S3 connectionまたはInherit credentials from AWS roleが選択されていない場合に利用できます。
|
[Secret Key] (シークレットキー) |
シークレットアクセスキーを指定します。シークレットアクセスキーは、アクセスキーと組み合わせてセキュリティ認証情報を構成します。 シークレットキーを入力するには、シークレットキーフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにシークレットキーを二重引用符の間に入力し、OKをクリックして設定を保存します。 情報メモ注: このオプションは、[Credentials provider] (認証情報プロバイダー)ドロップダウンリストから、Use an existing S3 connectionまたはInherit credentials from AWS roleが選択されていない場合に利用できます。
|
[Assume Role] (ロールを引き受け) |
AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスをオンにすればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。 このロールに関連付けられている信頼ポリシーによって、自分のユーザーアカウントにそのロールへのアクセスが付与されていることをご確認ください。不明であれば、そのロールの所有者かAWS管理者にお問い合わせください。 情報メモ注: このオプションは、[Use an existing S3 connection] (既存のS3接続を使用)が選択されていない場合に利用できます。
|
[Region] (リージョン) |
リストからリージョン名を選択するか、リスト内で二重引用符の間にリージョンを入力して("us-east-1"など)、AWSリージョンを指定します。AWSリージョンの詳細の詳細は、Regions and Endpoints (英語のみ)をご覧ください。 情報メモ注: このオプションは、[Use an existing S3 connection] (既存のS3接続を使用)が選択されていない場合に利用できます。
|
[Bucket] (バケット) |
ファイルのアップロード先のAmazon S3バケットの名前、つまり最上位のフォルダーを入力します。 使用するバケットとRedshiftデータベースは、Amazon上の同じリージョンに存在している必要があります。これにより、Amazonで既知のS3ServiceExceptionエラーが回避できる可能性があります。これらのエラーについては、S3ServiceExceptionエラー (英語のみ)をご覧ください。 |
[Key] (キー) |
Amazon S3にアップロードされたファイルに割り当てるオブジェクトキーを入力します。 |
詳細設定
[Field Separator] (フィールド区切り) |
フィールドを区切るための文字を入力します。 |
[Text enclosure] (テキストエンクロージャー) |
フィールドが引用符で囲まれているペア内の文字を選択します。 |
[Delete local file after putting it to s3] (S3へ格納後にローカルファイルを削除) |
Amazon S3にアップロードされた後にローカルファイルを削除するには、このチェックボックスをオンにします。デフォルトでは、このチェックボックスはオンです。 |
[Create directory if not exists] (ディレクトリーがない場合はディレクトリーを作成) |
[Data file path at local] (ローカルデータファイルパス)フィールドで指定したディレクトリーが存在しない場合は、このチェックボックスをオンにして、指定したディレクトリーを作成します。デフォルトでは、このチェックボックスはオンです。 |
[Encoding] (エンコーディング) |
生成するファイル内のデータのエンコーディングタイプを選択します。 |
[Config client] (クライアント設定) |
このチェックボックスをオンにすると、Amazon S3のクライアントパラメーターを設定できます。表示されたテーブルの下の[+]ボタンをクリックして、必要な数の行をクライアントパラメーターとして追加し、各パラメーターに以下の属性を設定するために使われます。
S3クライアントパラメーターの詳細は、クライアント側の設定 (英語のみ)を参照してください。 |
[STS Endpoint] (STSエンドポイント) |
このチェックボックスをオンにして、表示されたフィールドで、セッション認証情報の取得先とするAWS Security Token Service(STS)のエンドポイントを指定します。たとえばsts.amazonaws.comと入力します。 このチェックボックスは、[Assume role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。 |
[Signing region] (サインインリージョン) |
STSサービスのAWSリージョンを選択します。リストにリージョンがない場合は、リージョン名を二重引用付きで入力します。デフォルト値はus-east-1です。 このドロップダウンリストは、[Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。 |
[External Id] (外部ID) |
ロールの持ち主であるアカウントの管理者から外部IDを提供されている場合は、その値をここに入力します。[External Id] (外部ID)は、一定数のユーザーがロールを引き受けられるようにする一意の識別子です。 このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。 |
[Serial number] (シリアル番号) |
ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、ロールを引き受けるユーザーに関連付けられているハードウェアや仮想MFAデバイスの識別番号を指定する必要があります。 このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。 |
[Token code] (トークンコード) |
ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、トークンコードを指定する必要があります。このトークンコードは、MFAデバイスによって生成される時間ベースのワンタイムパスワードです。 このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。 |
[Tags] (タグ) |
キー-値ペアという形式でセッションタグをリスト表示します。ポリシーでこれらのセッションタグを使えば、リクエストへのアクセスを許可したり拒否したりできます。 [Transitive] (推移的): このチェックボックスを選択すると、タグがロールチェーンの次のロールまで存続することが示されます。 タグの詳細は、 AWS STSでのセッションタグの受け渡し (英語のみ)をご覧ください。 このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。 |
[IAM Policy ARNs] (IAMポリシーARN) |
マネージドセッションポリシーとして使うIAMマネージドポリシーのAmazon Resource Names(ARN)を入力します。マネージドセッションポリシーを使ってセッションの権限を制限します。このポリシーはロールと同じアカウントに存在することが必要です。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。 セッションポリシーの詳細は、ポリシーとアクセス許可 (英語のみ)で該当するセクションをご覧ください。 このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。 |
[Policy] (ポリシー) |
セッションポリシーとして使うIAMポリシーをJSON形式で入力します。セッションポリシーを使ってセッションの権限を制限します。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。 セッションポリシーの詳細は、ポリシーとアクセス許可 (英語のみ)で該当するセクションをご覧ください。 このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。 |
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
グローバル変数
グローバル変数 |
NB_LINE: 処理された行の数。これはAfter変数で、整数を返します。 ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。 Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。 フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。 変数の詳細は、Talend Studioユーザーガイドをご覧ください。 |
使用方法
使用ルール |
このコンポーネントは、コンマ区切り/CSVファイルでAmazon Redshiftにフィードするために、一般にtRedshiftBulkExecと共に使います。一緒に使うと、Amazon Redshiftをフィードする時にパフォーマンスが向上します。 |