メイン コンテンツをスキップする 補完的コンテンツへスキップ

tSnowflakeOutputBulkExecの標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtSnowflakeOutputBulkExecを設定するために使われます。

標準tSnowflakeOutputBulkExecコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。

情報メモ注: このコンポーネントは、動的データベースコネクターの特定のバージョンです。データベース設定に関連するプロパティは、データベースタイプの選択に応じて異なります。動的データベースコネクターについては、動的データベースコンポーネントをご覧ください。

基本設定

[Database] (データベース)

データベースのタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

このプロパティは、[Connection Component] (接続コンポーネント)ドロップダウンリストから、[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。

[Connection Component] (接続コンポーネント)

このコンポーネントで再利用するデータベース接続を開くコンポーネントを選択します。

[Account] (アカウント)

[Account] (アカウント)フィールドに、Snowflakeによって割り当てられたアカウント名を二重引用符で囲んで入力します。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。

[Authentication Type] (認証タイプ)

認証タイプを設定するために使われます。
  • [Basic] (基本): キーペア認証が有効でない場合は、このオプションを選択します。
  • [Key Pair] (キーペア): キーペア認証が有効な場合は、このオプションを選択します。キーペア認証の詳細は、キーペア認証を使う (英語のみ)をご覧ください。
  • OAuth 2.0: このオプションを選択すると、データアクセスで外部OAuthを使用できます。関連情報は、外部OAuthの概要 (英語のみ)をご覧ください。
情報メモ注: [Key Pair] (キーペア)オプションを選択する前に、tSetKeystoreコンポーネントの[Basic settings] (基本設定)ビューでキーペア認証データが次のように設定済みであることを確認します。
  • [TrustStore type] (TrustStoreタイプ)フィールドをそのままにしておきます。
  • [TrustStore file] (TrustStoreファイル)""に設定します。
  • [TrustStore password] (TrustStoreパスワード)フィールドをクリアします。
  • [Need Client authentication] (クライアント認証が必要)を選択します。
  • キーストアファイルへのパスを二重引用符で囲んで[KeyStore file] (KeyStoreファイル)フィールドに入力します(または[KeyStore file] (KeyStoreファイル)フィールドの右側にある[…]ボタンをクリックして、キーストアファイルに移動します)。
  • キーストアファイルのパスワードを[KeyStore password] (KeyStoreパスワード)フィールドに入力します。
  • [Check server identity] (サーバーIDをチェック)オプションをクリアします。
情報メモ注: OAuth 2.0オプションは、Talendが提供するR2020-06以降のStudioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。

[OAuth token endpoint] (OAuthトークンエンドポイント)

OAuth 2.0トークンエンドポイントを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[Client ID] (クライアントID)

アプリケーションのクライアントIDを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[Client Secret] (クライアントシークレット)

アプリケーションのクライアントシークレットを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[Grant type] (付与タイプ)

アクセストークン取得のために付与タイプを設定するために使われます。[Client Credentials] (クライアント認証情報)[Password] (パスワード)という2つのオプションがあります。

関連情報は、クライアント認証情報 (英語のみ)リソース所有者のパスワード認証情報 (英語のみ)をご覧ください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

情報メモ注: このオプションは、Talendが提供するR2020-10以降のStudioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。

[OAuth username] (OAuthユーザー名)

OAuthユーザー名を入力します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。

[OAuth password] (OAuthパスワード)

OAuthパスワードを入力します。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力した後、[OK]クリックして設定を保存します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。

情報メモ注: OAuthパスワードではスペースがサポートされていません。

Scope (スコープ)

スコープを入力します。関連情報はスコープ (英語のみ)をご覧ください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[User Id] (ユーザーID)[Password] (パスワード)

Snowflakeにログインするための認証情報を二重引用符で囲んで入力します。

  • [User ID]フィールドに、SnowflakeのLOGIN_NAMEパラメーターを使って、Snowflakeで定義されているログイン名を二重引用符で囲んで入力します。詳細は、Snowflakeシステムの管理者にお問い合わせください。

  • パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、OKをクリックして設定を保存します。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。

[Warehouse] (ウェアハウス)

使用するSnowflakeウェアハウスの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。

[Schema] (スキーマ)

使用するデータベーススキーマの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。

[Database] (データベース)

使用するSnowflakeデータベースの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。

[Table] (テーブル)

[...]ボタンをクリックし、表示されるウィザードで、使用するSnowflakeテーブルを選択します。

新しいテーブルにデータをロードするには、ウィザードで[Use custom object] (カスタムオブジェクトを使う)を選択し、[Object Name] (オブジェクト名)フィールドに新しいテーブルの名前を入力します。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

処理するSnowflake データ型がVARIANT(変数)、OBJECT(オブジェクト)、またはARRAY(アレイ)の場合は、コンポーネントでスキーマを定義する際にスキーマエディターウィザードの[Type] (タイプ)カラムの対応するデータで[String] (文字列)を選択します。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

null不可能なプリミティブフィールドの入力値がnullの場合、そのフィールドを含むデータ行は拒否されることにご注意ください。

このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、Talend Studioユーザーガイドをご覧ください。

このダイナミックスキーマ機能は、テーブルの不明なカラムを取得する目的で設計されており、この目的に限り使用をお勧めします。テーブルの作成で使用することは勧められていません。

[Table Action] (テーブルアクション)

テーブルで実行するアクションを選択します。

  • [NONE] (なし): テーブルをそのままにしておきます。
  • [DROP_CREATE]: テーブルを削除し、再作成します。
  • [CREATE] (作成): 新しいテーブルを作成します。
  • [CREATE_IF_NOT_EXISTS]: テーブルが存在しない場合は作成します。
  • [DROP_IF_EXISTS_AND_CREATE]: テーブルが既に存在する場合は削除し、再作成します。
  • [CLEAR] (クリア): テーブル内のすべてのデータレコードを削除します。
  • [TRUNCATE] (切り詰め): テーブル内のすべての行を削除します。このアクションにより、テーブルが占めているスペースが解除されます。
[Output Action] (出力アクション)

Snowflakeデータベーステーブル内の受信データとデータレコードに対して実行する操作を選択します。Snowflakeテーブルのデータを挿入、削除、アップデート、マージできます。このオプションでは、[Table] (テーブル)フィールド内で指定したSnowflakeテーブルが既に存在することを想定しています。

  • [INSERT] (挿入): Snowflakeテーブルに新しいレコードを挿入します。
    情報メモ注: この操作はSnowflakeのCOPY INTOコマンドを使います。それによって一時テーブルの使用が中止されるほか、現在のところデータ検証がサポートされていないため、拒否されたレコードを取得する時に予期しない結果が生じることがあります。関連情報は、Transforming Data During a Load (英語のみ)をご覧ください。
  • [UPDATE] (アップデート): Snowflakeテーブルの既存のレコードをアップデートします。
  • [UPSERT] (アップサート): 新しいレコードを作成し、既存のレコードをアップデートします。[Upsert Key Column] (キーカラムのアップサート)ドロップダウンリストから、スキーマカラムを結合キーに指定するか、または[Advanced settings] (詳細設定)ビューで[Use schema keys for upsert] (スキーマキーをアップサートに使う)を選択することでスキーマキーを操作に使うように指定する必要があります。
    情報メモ注: [Upsert Key Column] (キーカラムのアップサート)ドロップダウンリストは、[Use schema keys for upsert] (スキーマキーをアップサートに使う)が選択されていない場合に利用できます。
  • [DELETE] (削除): Snowflakeテーブルからレコードを削除します。
[Storage] (ストレージ) 受信データのアップロード先およびテーブルへのデータのロード元とするストレージのタイプを選択します。
  • [Internal] (内部): 受信データを内部Snowflakeストレージ内のフォルダーに保管し、次にデータをフォルダーからロードします。また、[Stage Folder] (ストレージフォルダー)内の二重引用符で囲まれたフォルダーを指定する必要があります。
  • S3: 受信データをAmazon S3フォルダーに保管し、次にデータをフォルダーからロードします。また、[Region] (リージョン)[Access Key] (アクセスキー) (二重引用符内)、[Secret Key] (シークレットキー)[Bucket] (バケット) (二重引用符内)、[Folder] (フォルダー) (二重引用符内)を含め、S3ユーザーアカウントに関する情報も入力が必要です。
  • Azure: 受信データをAzureフォルダーに保管し、次にデータをフォルダーからロードします。また、[Protocol] (プロトコル)[Account Name] (アカウント名) (二重引用符内)、[Container] (コンテナー) (二重引用符内)、[Folder] (フォルダー) (二重引用符内)、[SAS Token] (SASトークン)を含め、Azureユーザーアカウントに関する情報も入力が必要です。
ステージフォルダー Snowflakeストレージの下に、 受信データの書き込み先およびデータのロード元とするフォルダーを指定します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。

Region S3バケットが存在するリージョンを指定します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

[Access Key] (アクセスキー)および[Secret Key] (シークレットキー) 使用するAmazon S3バケットへの接続に必要な認証情報を入力します。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

Bucket (バケット) 受信データの保管先およびデータのロード元に使うバケットの名前を入力します(二重引用符内)。既存のバケットを用意しておく必要があります。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

フォルダー 受信データの保管先およびデータのロード元に使うフォルダーの名前を入力します(二重引用符内)。このフォルダーは、ランタイムに存在しない場合は作成されます。

このプロパティは、[Storage] (ストレージ)ドロップダウンリストでS3またはAzureが選択されている場合のみ利用できます。

[Server-Side Encryption] (サーバー側の暗号化) サーバー側のS3バケットにアップロードするファイルを暗号化するには、このチェックボックスをオンにします。このプロパティは、デフォルトでオンになっています。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

[Protocol] (プロトコル) Azure接続の作成に使うプロトコルを選択します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合のみ利用できます。

Account Name (アカウント名) Azure Storageのアカウント名を入力します(二重引用符内)。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合のみ利用できます。

[Container] (コンテナー)[Folder] (フォルダー) Azureコンテナーとフォルダーの名前を入力します(二重引用符内)。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合のみ利用できます。

SASトークン ストレージアカウント内のオブジェクトに対する制限付きアクセスを付与するSASトークンを指定します。

SASトークンを入力するには、SASトークンフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合のみ利用できます。

詳細設定

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー-値ペアです。たとえば、encryption=1;clientname=Talendになります。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている場合のみ利用できます。

[Login Timeout] (ログインタイムアウト)

Snowflakeのログイン試行のタイムアウト期間を分単位で指定します。この期間内にレスポンスが返されないと、エラーが生成されます。

ロール

Snowflakeセッションを開始するために使用するデフォルトアクセス制御ロールを、二重引用符で囲んで入力します。

このロールは既に存在していて、Snowflakeへの接続に使用するユーザーIDに付与されている必要があります。このフィールドを空のままにしておくと、PUBLICロールが自動的に付与されます。Snowflakeのアクセス制御モデルについては、アクセス制御モデルの理解 (英語のみ)をご覧ください。

[Region ID (Deprecated)] (リージョンID (非推奨))

たとえば、eu-west-1またはeast-us-2.azureのように、リージョンIDを二重引用符で囲んで入力します。SnowflakeリージョンIDの詳細は、Supported Cloud Regions (英語のみ)をご覧ください。

tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。

情報メモ注: このフィールドは、TalendのR2021-04以降のStudioマンスリーアップデートをインストールした時のみ利用できます。詳細は管理者にお問い合わせください。
[Allow Snowflake to convert columns and tables to uppercase] (Snowflakeによるカラムとテーブルの大文字への変換を許可)

このチェックボックスを選択すると、定義された小文字のテーブル名とスキーマカラム名が大文字に変換されます。引用符で囲まれていない識別子は、Snowflake識別子構文に一致している必要があります。

チェックボックスをオフにすると、すべての識別子が自動的に引用符で囲まれます。

このプロパティは、[Manual Query] (手動クエリー)チェックボックスがオンの場合は利用できません。

Snowflake識別子構文の詳細は、識別子構文 (英語のみ)をご覧ください。

[Use schema keys for upsert] (スキーマキーをアップサートに使う)

このオプションを選択すると、スキーマキーをアップサート操作に使用できます。このオプションは、[Basic settings] (基本設定)ビューで[Output Action] (出力アクション)ドロップダウンリストから[UPSERT] (アップサート)を選択した場合に利用できます。

情報メモ注: このオプションは、TalendのR2020-09以降のStudioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。
[Temporary Table Schema] (一時テーブルスキーマ) 一時テーブルに既存のスキーマを指定します。
[Use strict schema matching] (厳密なスキーママッチングを使用) このオプションを選択すると、受信データとまったく同じカラム名を持つテーブルカラムに受信データ自体をロードします。

カラム名は大文字と小文字が区別されます。このオプションを選択しない場合は、該当するテーブルカラムに受信データがロードされない可能性があります。

このオプションは、[Basic settings] (基本設定)ビューの[Output Action] (出力アクション)ドロップダウンリストで[INSERT] (挿入)が選択された場合に利用できます。

情報メモ注: このオプションは、Talendが提供する7.3.1 R2023-04以降のTalend Studioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。
カスタムDBタイプ このチェックボックスをオンにして、スキーマ内の各カラムにDBタイプを指定します。

これらのプロパティは、[Basic settings] (基本設定)[Table Action] (テーブルアクション)ドロップダウンリストからテーブル作成のアクションを選択した場合のみ利用できます。

[Use schema date pattern] (スキーマの日付パターンを使用)

スキーマで定義されている日付パターンを使ってDate型のスキーマカラム内のデータを変換するには、このオプションを選択します。このためには、[Custom DB Type] (カスタムDBタイプ)フィールドで、スキーマカラムのDBタイプをSTRINGTEXT、またはVARCHARに指定することも必要です。

情報メモ注: このオプションは、TalendのR2020-08以降のStudioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。
[Delete Storage Files On Success] (成功時にストレージファイルを削除) データのテーブルへのロードが成功すると、ストレージフォルダー内のすべてのファイルを削除します。

[Use Custom Storage Location] (カスタムストレージの場所を使用)を選択すると、このフィールドは使えません。

カスタムステージパスの使用

ステージの下のフォルダー内に生成されたファイルにデータをアップロードする場合は、このチェックボックスを選択します。表示されたフィールドにフォルダーへのパスを入力することも必要です。たとえば、ステージ下のmyfolder1/myfolder2内に生成されたファイルにデータをアップロードするには、フィールドに"@~/myfolder1/myfolder2"と入力する必要があります。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。

選択すると、[Basic settings] (基本設定)ビュー内の[Stage Folder] (ステージフォルダー)は利用できなくなります。
カスタムS3接続設定の使用 カスタムS3設定を使う場合は、このチェックボックスを選択します。

[Option] (オプション): リストからパラメーターを選択します。

[Value] (値): パラメーター値を入力します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

コマンドオプションのコピー ドロップダウンリストから、以下のオプションを選択し、COPY INTOコマンドのパラメーターを設定するために使われます。COPY INTOコマンドはSnowflakeによって提供されます。このコマンドにより、データがSnowflakeデータベーステーブルにロードされます。
  • [Default] (デフォルト): 右側のフレームにリスト表示されているデフォルト設定を使ってCOPY INTO操作を実行します。
  • [Table] (テーブル): [Options] (オプション)テーブルを使ってCOPY INTO操作パラメーターを設定するために使われます。パラメーターを設定するには、[+]ボタンをクリックし、[Option] (オプション)カラムからパラメーターを選択し、[Value] (値)カラムにパラメーター値を設定するために使われます。
  • [Manual] (手動): 右側のテキストフレームにCOPY INTO操作パラメーターを手動で設定します。
COPY INTOコマンドのパラメーターについては、COPY INTOコマンド (英語のみ)をご覧ください。
Putコマンドオプション ドロップダウンリストから、以下のオプションを選択し、PUTコマンドのパラメーターを設定するために使われます。PUTコマンドはSnowflakeによって提供されます。データがSnowflake stageフォルダーにアップロードされます。
  • [Default] (デフォルト): 右側のフレームにリスト表示されているデフォルト設定を使ってPUT操作を実行します。
  • [Table] (テーブル): [Options] (オプション)テーブルを使ってPUT操作パラメーターを設定するために使われます。パラメーターを設定するには、[+]ボタンをクリックし、[Option] (オプション)カラムからパラメーターを選択し、[Value] (値)カラムにパラメーター値を設定するために使われます。
  • [Manual] (手動): 右側のテキストフレームにPUT操作パラメーターを手動で設定します。
PUTコマンドのパラメーターについては、the PUT command (英語のみ)をご覧ください。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。

Putコマンドエラー再試行

内部Snowflakeストレージへのデータのロードにエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。

[Snowflake access to storage] (Snowflakeストレージへのアクセス)

S3バケットにアクセスする時は、COPYコマンドの認証方式を指定します。関連情報はAdditional Cloud Provider Parameters (英語のみ) (英語版)をご覧ください。

情報メモ注:
  • このオプションは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]が選択された場合に利用できます。
  • このオプションは、TalendのR2021-10以降のStudioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。
  • [Credentials] (認証情報): 認証にS3認証情報を使います。
  • [Storage integration] (ストレージ統合): 認証にストレージ統合を使います。この場合は[Storage integration] (ストレージ統合)フィールドに統合名を入力します。

[S3 Assume Role] (S3ロールを引き受け)

AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスをオンにすればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。

このロールに関連付けられている信頼ポリシーによって、自分のユーザーアカウントにそのロールへのアクセスが付与されていることをご確認ください。不明であれば、そのロールの所有者かAWS管理者にお問い合わせください。

情報メモ注:
  • このオプションは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]が選択された場合に利用できます。
  • このオプションは、TalendのR2021-10以降のStudioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。
  • [Role ARN] (ロールARN): 引き受けるロールのARN (Amazonリソース名)。このARN名は、AWSポータルで使用するロールの[Summary] (概要)ページで見つかります。このロールARNの形式は、たとえばam:aws:iam::[aws_account_number]:role/[role_name]となります。

  • [Role session name] (ロールセッション名): 引き受けたロールセッションの一意識別に使用する名前を入力します。この名前には英字(大文字と小文字の両方)と数字を利用できますが、スペースを含めることはできません。また、アンダースコア( _ )の他、= , . @ - も使用できます。

  • [Session duration] (セッション処理時間): 引き受けたロールセッションをアクティブにする期間(分)。この期間をAWS管理者が設定した最大期間より長くすることはできません。処理時間のデフォルトは15分です。

IAMロールと関連するポリシータイプの例については、AWSドキュメンテーションで[Create and Manage AWS IAM Roles] (AWS IAMロールの作成と管理) (英語のみ)をご覧ください。
S3エラー再試行最大回数

S3フォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

Azureエラー再試行最大回数

Azureフォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合のみ利用できます。

空でないストレージフォルダーアクション 次のオプションのいずれかを選択します。
  • [Add New Files] (新しいファイルの追加): 選択したストレージフォルダーにファイルが既に含まれていてもジョブの処理を続行し、新しいファイルをフォルダーに追加します。
  • [Cancel Upload] (アップロードのキャンセル): データのロードに使うストレージフォルダーが空でない場合に、操作を停止します。
  • [Replace Existing Files] (既存のファイルを置換): 新しいファイルを追加する前にストレージフォルダーをクリアします。
チャンクサイズ(バイト) 生成されるファイルのサイズを指定します。デフォルトは52428800バイトです。

このオプションを指定すると、受信データが複数のファイルに保管される場合があります。データはレコードベースでファイル内に保管されるため、生成される各ファイルの実際のサイズは指定した値よりも大きかったり小さかったりする場合がありますが、ファイル内に前回保管されたレコードのサイズを上回ることはありません。

このオプションはパフォーマンスに大幅な影響を与える場合があります。したがって、設定は慎重に行ってください。関連情報は、File Sizing Best Practices and Limitations (英語のみ)をご覧ください。
ファイルリクエストスレッドの数 データをファイルに書き込む時にPutリクエストを並行して送信するために使用されるスレッドの数を指定します。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

NB_SUCCESS

正しく処理された行数。これはAfter変数で、整数を返します。

NB_REJECT

リジェクトされた行数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

使用ルール

このコンポーネントは、ジョブ内のデータフローの終了コンポーネントです。このコンポーネントは、[Row] (行) > [Main] (メイン)リンクを介して他のコンポーネントからデータを受け取ります。

[Row] (行) > [Rejects] (リジェクト)リンクを介してエラーメッセージを他のコンポーネントに送信することもできます。エラーについて示される情報の例は次のとおりです。
  • エラーが発生したカラムの名前。

  • エラーが発生した行の番号。

  • 解析エラーまたは変換エラーなど、エラーのカテゴリー。

  • エラーが発生した行の文字オフセット。

  • 関連するエラーメッセージ。

  • エラーが発生したバイトのオフセット。

  • エラーが発生した行の番号。

  • エラーのSQLSTATE。

  • Snowflakeエラーコード。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。