tSnowflakeBulkExecの標準プロパティ
これらのプロパティは、標準ジョブのフレームワークで実行されているtSnowflakeBulkExecを設定するために使われます。
標準のtSnowflakeBulkExecコンポーネントは、Cloudファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのサブスクリプションベースのTalend製品で使用できます。
基本設定
データベース |
目的のデータベースタイプをリストから選択し、[Apply] (適用)をクリックします。 |
[Property Type] (プロパティタイプ) |
接続の詳細を設定する方法を選択します。
このプロパティは、[Connection Component] (接続コンポーネント)ドロップダウンリストから、[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。 |
[Connection Component] (接続コンポーネント) |
このコンポーネントで再利用するデータベース接続を開くコンポーネントを選択します。 |
[Account] (アカウント) |
[Account] (アカウント)フィールドに、Snowflakeによって割り当てられたアカウント名を二重引用符で囲んで入力します。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。 |
[Authentication Type] (認証タイプ) |
認証タイプを設定するために使われます。
情報メモ注: [Key Pair] (キーペア)オプションを選択する前に、tSetKeyStoreコンポーネントの[Basic settings] (基本設定)ビューでキーペア認証データが次のように設定済みであることを確認します。
|
[OAuth token endpoint] (OAuthトークンエンドポイント) | OAuth 2.0トークンエンドポイントを入力します。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
[Client ID] (クライアントID) | アプリケーションのクライアントIDを入力します。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
[Client Secret] (クライアントシークレット) | アプリケーションのクライアントシークレットを入力します。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
[Grant type] (付与タイプ) | アクセストークン取得のために付与タイプを設定するために使われます。[Client Credentials] (クライアント認証情報)と[Password] (パスワード)という2つのオプションがあります。 関連情報は、クライアント認証情報とリソース所有者のパスワード認証情報をご覧ください。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
[OAuth username] (OAuthユーザー名) | OAuthユーザー名を入力します。 このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。 |
[OAuth password] (OAuthパスワード) | OAuthパスワードを入力します。 パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力した後、[OK]クリックして設定を保存します。 このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。 情報メモ注: OAuthパスワードではスペースがサポートされていません。
|
Scope (スコープ) | スコープを入力します。関連情報はスコープをご覧ください。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
[User Id] (ユーザーID)と[Password] (パスワード) |
Snowflakeにログインするための認証情報を二重引用符で囲んで入力します。
このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。 |
[Warehouse] (ウェアハウス) |
使用するSnowflakeウェアハウスの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。 |
[Schema] (スキーマ) |
使用するデータベーススキーマの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。 |
[Database] (データベース) |
使用するSnowflakeデータベースの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)が選択されている場合のみ利用できます。 |
[Table] (テーブル) |
[...]ボタンをクリックし、表示されるウィザードで、使用するSnowflakeテーブルを選択します。 新しいテーブルにデータをロードするには、ウィザードで[Use custom object] (カスタムオブジェクトを使う)を選択し、[Object Name] (オブジェクト名)フィールドに新しいテーブルの名前を入力します。 |
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 処理するSnowflake データ型がVARIANT(変数)、OBJECT(オブジェクト)、またはARRAY(配列)の場合は、コンポーネントでスキーマを定義する際にスキーマエディターウィザードの[Type] (タイプ)カラムの対応するデータで[String] (文字列)を選択します。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
null不可能なプリミティブフィールドの入力値がnullの場合、そのフィールドを含むデータ行は拒否されることにご注意ください。 このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、ダイナミックスキーマをご覧ください。 ダイナミックスキーマ機能は、テーブルの不明なカラムを取得するしくみになっており、その他の目的には使用しないことをお勧めします。テーブルの作成には推奨しません。 |
[Table Action] (テーブルアクション) | テーブルで実行するアクションを選択します。
|
[Output Action] (出力アクション) | Snowflakeデータベーステーブル内の受信データとデータレコードに対して実行する操作を選択します。Snowflakeテーブルのデータを挿入、削除、アップデート、マージできます。このオプションでは、[Table] (テーブル)フィールド内で指定したSnowflakeテーブルが既に存在することを想定しています。
|
[Storage] (ストレージ) | データをテーブルにロードするストレージのタイプを選択します。
|
ステージフォルダー |
データのロード元とする内部ストレージのSnowflakeステージフォルダーを指定します。 このフィールドは、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択され、[Advanced settings] (詳細設定)ビューで[Use Custom Storage Location] (カスタムストレージの場所を使用)オプションが選択されていない場合のみ利用できます。 |
[Region] (リージョン) | S3バケットが存在するリージョンを指定します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
[Access Key] (アクセスキー)および[Secret Key] (シークレットキー) | 使用するAmazon S3バケットへの接続に必要な認証情報を入力します。 パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
Bucket (バケット) | データのロードに使うバケットの名前を入力します。既存のバケットを用意しておく必要があります。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
フォルダー | データのロード元とするフォルダーを入力します(二重引用符内)。 このフィールドは、[Storage] (ストレージ)ドロップダウンリストからS3またはAzureが選択されている場合に使えます。 |
[Protocol] (プロトコル) | Azure接続の作成に使うプロトコルを選択します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
Account Name (アカウント名) | アクセスする必要があるAzure Storageのアカウント名を入力します(二重引用符内)。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
[Container] (コンテナー)と[Folder] (フォルダー) | データの保管と管理に使うAzureコンテナーとフォルダーを指定します(二重引用符内)。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
SASトークン | ストレージアカウント内のオブジェクトに対する制限付きアクセスを付与するSASトークンを指定します。 SASトークンを入力するには、SASトークンフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
詳細設定
[Additional JDBC Parameters] (追加のJDBCパラメーター) |
作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー-値ペアです。たとえば、encryption=1;clientname=Talendになります。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている場合のみ利用できます。 |
[Login Timeout] (ログインタイムアウト) |
Snowflakeのログイン試行のタイムアウト期間を分単位で指定します。この期間内にレスポンスが返されないと、エラーが生成されます。 |
ロール |
Snowflakeセッションを開始するために使用するデフォルトアクセス制御ロールを、二重引用符で囲んで入力します。 このロールは既に存在していて、Snowflakeへの接続に使用するユーザーIDに付与されている必要があります。このフィールドを空のままにしておくと、PUBLICロールが自動的に付与されます。Snowflakeのアクセス制御モデルについては、アクセス制御モデルの理解をご覧ください。 |
[Region ID (Deprecated)] (リージョンID (非推奨)) | たとえば、eu-west-1またはeast-us-2.azureのように、リージョンIDを二重引用符で囲んで入力します。SnowflakeリージョンIDの詳細は、Supported Cloud Regionsをご覧ください。 tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから、[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。 |
[URL suffix] (URLサフィックス) |
目的のSnowflakeカスタムドメインURLを二重引用符で囲んで入力します。Snowflake URL形式の詳細は、Standard account URLsをご覧ください。 tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから、[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。 |
[Allow Snowflake to convert columns and tables to uppercase] (Snowflakeによるカラムとテーブルの大文字への変換を許可) | このチェックボックスを選択すると、定義された小文字のテーブル名とスキーマカラム名が大文字に変換されます。引用符で囲まれていない識別子は、Snowflake識別子構文に一致している必要があります。 チェックボックスをオフにすると、すべての識別子が自動的に引用符で囲まれます。 このプロパティは、[Manual Query] (手動クエリー)チェックボックスがオンの場合は利用できません。 Snowflake識別子構文の詳細は、識別子構文をご覧ください。 |
[Use schema keys for upsert] (スキーマキーをアップサートに使う) | このオプションを選択すると、スキーマキーをアップサート操作に使用できます。このオプションは、[Basic settings] (基本設定)ビューで[Output Action] (出力アクション)ドロップダウンリストから、[UPSERT] (アップサート)を選択した場合に利用できます。 |
[Temporary Table Schema] (一時テーブルスキーマ) | 一時テーブルにスキーマを指定します。 スキーマは存在している必要があります。 |
カスタムDBタイプ | このチェックボックスをオンにして、スキーマ内の各カラムにDBタイプを指定します。 このプロパティは、[Basic settings] (基本設定)の[Table Action] (テーブルアクション)ドロップダウンリストからテーブル作成のアクションを選択した場合のみ利用できます。 |
[Custom Date type mapping] (カスタムの日付タイプマッピング) | 日付タイプのデータでカスタムマッピングを使用する場合はこのチェックボックスを選択し、[Convert Date values to] (日付値を次に変換]ドロップダウンリストからマッピングを選択します。 このオプションは、ダイナミックスキーマを使用しており、[Basic settings] (基本設定)ビューで[Table Action] (テーブルアクション)ドロップダウンリストから次のオプションが選択された場合に利用できます:
|
[Delete Storage Files On Success] (成功時にストレージファイルを削除) | データのテーブルへのロードが成功すると、ストレージフォルダー内のすべてのファイルを削除します。 [Use Custom Storage Location] (カスタムストレージの場所を使用)を選択すると、このフィールドは使えません。 |
[Snowflake access to storage] (Snowflakeストレージへのアクセス) |
S3バケットにアクセスする時は、COPYコマンドの認証方式を指定します。関連情報はAdditional Cloud Provider Parameters (英語版)をご覧ください。 情報メモ注: このオプションは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]が選択された場合に利用できます。
|
[S3 Assume Role] (S3ロールを引き受け) |
AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスを選択すればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。 このロールに関連付けられている信頼ポリシーによって、自分のユーザーアカウントにそのロールへのアクセスが付与されていることをご確認ください。不明であれば、そのロールの所有者かAWS管理者にお問い合わせください。 情報メモ注:
|
S3エラー再試行最大回数 | S3フォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
Azureエラー再試行最大回数 | Azureフォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
カスタムS3接続設定の使用 | カスタムS3設定を使う場合は、このチェックボックスを選択します。
このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
カスタムステージプレフィックスの使用 | データのロード元のフォルダーへのパスを指定する(現在のステージがルートの場合)には、このチェックボックスを選択します。表示されたフィールドにフォルダーへのパスを入力することも必要です。たとえば、ステージ下のmyfolder1/myfolder2にあるファイル内に保管されているデータをロードするには、フィールドに"@~/myfolder1/myfolder2"と入力する必要があります。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。 選択すると、[Basic settings] (基本設定)ビュー内の[Stage Folder] (ステージフォルダー)は利用できなくなります。 |
[Use Custom Storage Location] (カスタムストレージの場所を使用) |
データのロード元となる外部ストレージ(S3など)のフォルダーを指定する場合は、このチェックボックスをオンにします。このオプションの横にあるフィールドでフォルダーを指定する必要があります。 |
コマンドオプションのコピー | ドロップダウンリストから、以下のオプションを選択し、COPY INTOコマンドのパラメーターを設定するために使われます。COPY INTOコマンドはSnowflakeによって提供されます。このコマンドにより、データがSnowflakeデータベーステーブルにロードされます。
|
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
グローバル変数
NB_LINE |
処理された行数。これはAfter変数で、整数を返します。 |
NB_SUCCESS |
正しく処理された行数。これはAfter変数で、整数を返します。 |
NB_REJECT |
リジェクトされた行数。これはAfter変数で、整数を返します。 |
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
使用方法
使用ルール |
このコンポーネントは、ジョブやサブジョブのスタンドアロンコンポーネントとして使えます。 |