tSnowflakeOutputBulkExecの標準プロパティ
これらのプロパティは、標準ジョブのフレームワークで実行されているtSnowflakeOutputBulkExecを設定するために使われます。
標準のtSnowflakeOutputBulkExecコンポーネントは、Cloudファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのサブスクリプションベースのTalend製品で使用できます。
基本設定
| データベース |
目的のデータベースタイプをリストから選択し、[Apply] (適用)をクリックします。 |
| [Property Type] (プロパティタイプ) |
接続の詳細を設定する方法を選択します。
このプロパティは、[Connection Component] (接続コンポーネント)ドロップダウンリストから、[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。 |
|
[Connection Component] (接続コンポーネント) |
このコンポーネントで再利用するデータベース接続を開くコンポーネントを選択します。 |
|
[Account] (アカウント) |
[Account] (アカウント)フィールドに、Snowflakeによって割り当てられたアカウント名を二重引用符で囲んで入力します。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。 |
| [Authentication Type] (認証タイプ) |
認証タイプを設定するために使われます。
情報メモ注: [Key Pair] (キーペア)オプションを選択する前に、tSetKeyStoreコンポーネントの[Basic settings] (基本設定)ビューでキーペア認証データが次のように設定済みであることを確認します。
|
| [OAuth token endpoint] (OAuthトークンエンドポイント) | OAuth 2.0トークンエンドポイントを入力します。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
| [Client ID] (クライアントID) | アプリケーションのクライアントIDを入力します。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
| [Client Secret] (クライアントシークレット) | アプリケーションのクライアントシークレットを入力します。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
| [Grant type] (付与タイプ) | アクセストークン取得のために付与タイプを設定するために使われます。[Client Credentials] (クライアント認証情報)と[Password] (パスワード)という2つのオプションがあります。 関連情報は、クライアント認証情報とリソース所有者のパスワード認証情報をご覧ください。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
| [OAuth username] (OAuthユーザー名) | OAuthユーザー名を入力します。 このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。 |
| [OAuth password] (OAuthパスワード) | OAuthパスワードを入力します。 パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力した後、[OK]クリックして設定を保存します。 このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。 情報メモ注: OAuthパスワードではスペースがサポートされていません。
|
| Scope (スコープ) | スコープを入力します。関連情報はスコープをご覧ください。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
|
[User Id] (ユーザーID)と[Password] (パスワード) |
Snowflakeにログインするための認証情報を二重引用符で囲んで入力します。
このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。 |
|
[Warehouse] (ウェアハウス) |
使用するSnowflakeウェアハウスの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。 |
| [Schema] (スキーマ) |
使用するデータベーススキーマの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。 |
|
[Database] (データベース) |
使用するSnowflakeデータベースの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。 |
|
[Table] (テーブル) |
[...]ボタンをクリックし、表示されるウィザードで、使用するSnowflakeテーブルを選択します。 新しいテーブルにデータをロードするには、ウィザードで[Use custom object] (カスタムオブジェクトを使う)を選択し、[Object Name] (オブジェクト名)フィールドに新しいテーブルの名前を入力します。 |
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 処理するSnowflake データ型がVARIANT(変数)、OBJECT(オブジェクト)、またはARRAY(配列)の場合は、コンポーネントでスキーマを定義する際にスキーマエディターウィザードの[Type] (タイプ)カラムの対応するデータで[String] (文字列)を選択します。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
null不可能なプリミティブフィールドの入力値がnullの場合、そのフィールドを含むデータ行は拒否されることにご注意ください。 このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、ダイナミックスキーマをご覧ください。 ダイナミックスキーマ機能は、テーブルの不明なカラムを取得するしくみになっており、その他の目的には使用しないことをお勧めします。テーブルの作成には推奨しません。 |
| [Table Action] (テーブルアクション) | テーブルで実行するアクションを選択します。
|
| [Output Action] (出力アクション) | Snowflakeデータベーステーブル内の受信データとデータレコードに対して実行する操作を選択します。Snowflakeテーブルのデータを挿入、削除、アップデート、マージできます。このオプションでは、[Table] (テーブル)フィールド内で指定したSnowflakeテーブルが既に存在することを想定しています。
|
| [Storage] (ストレージ) | 受信データのアップロード先およびテーブルへのデータのロード元とするストレージのタイプを選択します。
|
| ステージフォルダー | Snowflakeストレージの下に、 受信データの書き込み先およびデータのロード元とするフォルダーを指定します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。 |
| Region | S3バケットが存在するリージョンを指定します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| [Access Key] (アクセスキー)および[Secret Key] (シークレットキー) | 使用するAmazon S3バケットへの接続に必要な認証情報を入力します。 パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| Bucket (バケット) | 受信データの保管先およびデータのロード元に使うバケットの名前を入力します(二重引用符内)。既存のバケットを用意しておく必要があります。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| フォルダー | 受信データの保管先およびデータのロード元に使うフォルダーの名前を入力します(二重引用符内)。このフォルダーは、ランタイムに存在しない場合は作成されます。 このプロパティは、[Storage] (ストレージ)ドロップダウンリストでS3またはAzureが選択されている場合のみ利用できます。 |
| [Server-Side Encryption] (サーバー側の暗号化) | サーバー側のS3バケットにアップロードするファイルを暗号化するには、このチェックボックスをオンにします。このプロパティは、デフォルトでオンになっています。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| [Protocol] (プロトコル) | Azure接続の作成に使うプロトコルを選択します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
| Account Name (アカウント名) | Azure Storageのアカウント名を入力します(二重引用符内)。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
| [Container] (コンテナー)と[Folder] (フォルダー) | Azureコンテナーとフォルダーの名前を入力します(二重引用符内)。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
| SASトークン | ストレージアカウント内のオブジェクトに対する制限付きアクセスを付与するSASトークンを指定します。 SASトークンを入力するには、SASトークンフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
詳細設定
| [Additional JDBC Parameters] (追加のJDBCパラメーター) |
作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー-値ペアです。たとえば、encryption=1;clientname=Talendになります。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている場合のみ利用できます。 |
| [Login Timeout] (ログインタイムアウト) |
Snowflakeのログイン試行のタイムアウト期間を分単位で指定します。この期間内にレスポンスが返されないと、エラーが生成されます。 |
|
ロール |
Snowflakeセッションを開始するために使用するデフォルトアクセス制御ロールを、二重引用符で囲んで入力します。 このロールは既に存在していて、Snowflakeへの接続に使用するユーザーIDに付与されている必要があります。このフィールドを空のままにしておくと、PUBLICロールが自動的に付与されます。Snowflakeのアクセス制御モデルについては、アクセス制御モデルの理解をご覧ください。 |
| [Region ID (Deprecated)] (リージョンID (非推奨)) | たとえば、eu-west-1またはeast-us-2.azureのように、リージョンIDを二重引用符で囲んで入力します。SnowflakeリージョンIDの詳細は、Supported Cloud Regionsをご覧ください。 tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから、[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。 |
| [URL suffix] (URLサフィックス) |
目的のSnowflakeカスタムドメインURLを二重引用符で囲んで入力します。Snowflake URL形式の詳細は、Standard account URLsをご覧ください。 tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから、[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。 |
| [Allow Snowflake to convert columns and tables to uppercase] (Snowflakeによるカラムとテーブルの大文字への変換を許可) | このチェックボックスを選択すると、定義された小文字のテーブル名とスキーマカラム名が大文字に変換されます。引用符で囲まれていない識別子は、Snowflake識別子構文に一致している必要があります。 チェックボックスをオフにすると、すべての識別子が自動的に引用符で囲まれます。 このプロパティは、[Manual Query] (手動クエリー)チェックボックスがオンの場合は利用できません。 Snowflake識別子構文の詳細は、識別子構文をご覧ください。 |
| [Use schema keys for upsert] (スキーマキーをアップサートに使う) | このオプションを選択すると、スキーマキーをアップサート操作に使用できます。このオプションは、[Basic settings] (基本設定)ビューで[Output Action] (出力アクション)ドロップダウンリストから、[UPSERT] (アップサート)を選択した場合に利用できます。 |
| [Temporary Table Schema] (一時テーブルスキーマ) | 一時テーブルにスキーマを指定します。 スキーマは存在している必要があります。 |
| [Use strict schema matching] (厳密なスキーママッチングを使用) | このオプションを選択すると、受信データとまったく同じカラム名を持つテーブルカラムに受信データ自体をロードします。 カラム名は大文字と小文字が区別されます。このオプションを選択しない場合は、該当するテーブルカラムに受信データがロードされない可能性があります。 このオプションは、[Basic settings] (基本設定)ビューの[Output Action] (出力アクション)ドロップダウンリストで[INSERT] (挿入)が選択された場合に利用できます。 情報メモ注: このオプションは、Talendが提供する8.0.1 R2023-04以降のTalend Studioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。
|
| カスタムDBタイプ | このチェックボックスをオンにして、スキーマ内の各カラムにDBタイプを指定します。 このプロパティは、[Basic settings] (基本設定)の[Table Action] (テーブルアクション)ドロップダウンリストからテーブル作成のアクションを選択した場合のみ利用できます。 |
| [Custom Date type mapping] (カスタムの日付タイプマッピング) | 日付タイプの日付でカスタムマッピングを使用する場合はこのチェックボックスを選択し、[Convert Date values to] (日付値を次に変換]ドロップダウンリストからマッピングを選択します。 このオプションは、ダイナミックスキーマを使用しており、[Basic settings] (基本設定)ビューで[Table Action] (テーブルアクション)ドロップダウンリストから次のオプションが選択された場合に利用できます:
|
|
[Use schema date pattern] (スキーマの日付パターンを使用) |
スキーマで定義されている日付パターンを使ってDate型のスキーマカラム内のデータを変換するには、このオプションを選択します。このためには、[Custom DB Type] (カスタムDBタイプ)フィールドで、スキーマカラムのDBタイプをSTRING、TEXT、またはVARCHARに指定することも必要です。 |
| [Delete Storage Files On Success] (成功時にストレージファイルを削除) | データのテーブルへのロードが成功すると、ストレージフォルダー内のすべてのファイルを削除します。 [Use Custom Storage Location] (カスタムストレージの場所を使用)を選択すると、このフィールドは使えません。 |
| カスタムステージパスの使用 | ステージの下のフォルダー内に生成されたファイルにデータをアップロードする場合は、このチェックボックスを選択します。表示されたフィールドにフォルダーへのパスを入力することも必要です。たとえば、ステージ下のmyfolder1/myfolder2内に生成されたファイルにデータをアップロードするには、フィールドに"@~/myfolder1/myfolder2"と入力する必要があります。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。 選択すると、[Basic settings] (基本設定)ビュー内の[Stage Folder] (ステージフォルダー)は利用できなくなります。 |
| カスタムS3接続設定の使用 | カスタムS3設定を使う場合は、このチェックボックスを選択します。
このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| コマンドオプションのコピー | ドロップダウンリストから、以下のオプションを選択し、COPY INTOコマンドのパラメーターを設定するために使われます。COPY INTOコマンドはSnowflakeによって提供されます。このコマンドにより、データがSnowflakeデータベーステーブルにロードされます。
|
| Putコマンドオプション | ドロップダウンリストから、以下のオプションを選択し、PUTコマンドのパラメーターを設定するために使われます。PUTコマンドはSnowflakeによって提供されます。データがSnowflake stageフォルダーにアップロードされます。
このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。 |
| Putコマンドエラー再試行 | 内部Snowflakeストレージへのデータのロードにエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。 |
|
[Snowflake access to storage] (Snowflakeストレージへのアクセス) |
S3バケットにアクセスする時は、COPYコマンドの認証方式を指定します。関連情報はAdditional Cloud Provider Parameters (英語版)をご覧ください。 情報メモ注: このオプションは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]が選択された場合に利用できます。
|
|
[S3 Assume Role] (S3ロールを引き受け) |
AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスを選択すればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。 このロールに関連付けられている信頼ポリシーによって、自分のユーザーアカウントにそのロールへのアクセスが付与されていることをご確認ください。不明であれば、そのロールの所有者かAWS管理者にお問い合わせください。 情報メモ注:
|
| S3エラー再試行最大回数 | S3フォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| Azureエラー再試行最大回数 | Azureフォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
| 空でないストレージフォルダーアクション | 次のオプションのいずれかを選択します。
|
| チャンクサイズ(バイト) | 生成されるファイルのサイズを指定します。デフォルトは52428800バイトです。 このオプションを指定すると、受信データが複数のファイルに保管される場合があります。データはレコードベースでファイル内に保管されるため、生成される各ファイルの実際のサイズは指定した値よりも大きかったり小さかったりする場合がありますが、ファイル内に前回保管されたレコードのサイズを上回ることはありません。 このオプションはパフォーマンスに大幅な影響を与える場合があります。したがって、設定は慎重に行ってください。関連情報は、File Sizing Best Practices and Limitationsをご覧ください。 |
| ファイルリクエストスレッドの数 | データをファイルに書き込む時にPutリクエストを並行して送信するために使用されるスレッドの数を指定します。 |
|
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
グローバル変数
|
NB_LINE |
処理された行数。これはAfter変数で、整数を返します。 |
|
NB_SUCCESS |
正しく処理された行数。これはAfter変数で、整数を返します。 |
|
NB_REJECT |
リジェクトされた行数。これはAfter変数で、整数を返します。 |
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
使用方法
|
使用ルール |
このコンポーネントは、ジョブ内のデータフローの終了コンポーネントです。このコンポーネントは、リンクを介して他のコンポーネントからデータを受け取ります。 [Row] (行) > [Rejects] (リジェクト)リンクを介してエラーメッセージを他のコンポーネントに送信することもできます。エラーについて示される情報の例は次のとおりです。
|