tSnowflakeOutputBulk
フォルダーに生成されたファイルに受信データを書き込みます。フォルダーは、内部Snowflakeステージ、Amazon Simple Storage Service(Amazon S3)バケット、またはAzureコンテナに配置できます。
デフォルトで、このコンポーネントはTalend Studioと共には出荷されていません。機能マネージャーを使ってインストールする必要があります。 詳細は、機能マネージャーを使って機能をインストールをご覧ください。
- tSnowflakeOutputBulkコンポーネントは、受信データをストレージにアップロードします。
- tSnowflakeBulkExecコンポーネントは、ストレージからSnowflakeデータベーステーブルにデータをロードします。
tSnowflakeOutputBulkの標準プロパティ
これらのプロパティは、標準ジョブのフレームワークで実行されているtSnowflakeOutputBulkを設定するために使われます。
標準のtSnowflakeOutputBulkコンポーネントは、Cloudファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのサブスクリプションベースのTalend製品で利用できます。
基本設定
| プロパティ | 説明 |
|---|---|
| データベース |
目的のデータベースタイプをリストから選択し、[Apply] (適用)をクリックします。 |
|
[Property Type] (プロパティタイプ) |
接続の詳細を設定する方法を選択します。
[Connection Component] (接続コンポーネント)ドロップダウンリストから、他の接続コンポーネントを選択した場合、このプロパティは、利用できません。 |
|
[Connection Component] (接続コンポーネント) |
このコンポーネントで再利用するデータベース接続を開くコンポーネントを選択します。 |
|
[Account] (アカウント) |
[Account] (アカウント)フィールドに、Snowflakeによって割り当てられたアカウント名を二重引用符で囲んで入力します。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている時のみ利用可能です。 |
| [Authentication Type] (認証タイプ) |
認証タイプを設定するために使われます。
情報メモ注: [Key Pair] (キーペア)オプションを選択する前に、tSetKeyStoreコンポーネントの[Basic settings] (基本設定)ビューでキーペア認証データが次のように設定済みであることを確認します。
|
| [OAuth token endpoint] (OAuthトークンエンドポイント) | OAuth 2.0トークンエンドポイントを入力します。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
| [Client ID] (クライアントID) | アプリケーションのクライアントIDを入力します。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
| [Client Secret] (クライアントシークレット) | アプリケーションのクライアントシークレットを入力します。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
| [Grant type] (付与タイプ) | アクセストークン取得のために付与タイプを設定するために使われます。[Client Credentials] (クライアント認証情報)と[Password] (パスワード)という2つのオプションがあります。 関連情報は、クライアント認証情報とリソース所有者のパスワード認証情報をご覧ください。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
| [OAuth username] (OAuthユーザー名) | OAuthユーザー名を入力します。 このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。 |
| [OAuth password] (OAuthパスワード) | OAuthパスワードを入力します。 パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力した後、[OK]クリックして設定を保存します。 このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。 情報メモ注: OAuthパスワードではスペースがサポートされていません。
|
| Scope (スコープ) | スコープを入力します。関連情報はスコープをご覧ください。 このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。 |
|
[User Id] (ユーザーID)と[Password] (パスワード) |
Snowflakeにログインするための認証情報を二重引用符で囲んで入力します。
このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている時のみ利用可能です。 |
|
[Warehouse] (ウェアハウス) |
使用するSnowflakeウェアハウスの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている時のみ利用可能です。 |
| [Schema] (スキーマ) |
使用するデータベーススキーマの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている時のみ利用可能です。 |
|
[Database] (データベース) |
使用するSnowflakeデータベースの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている時のみ利用可能です。 |
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 処理するSnowflake データ型がVARIANT(変数)、OBJECT(オブジェクト)、またはARRAY(配列)の場合は、コンポーネントでスキーマを定義する際にスキーマエディターウィザードの[Type] (タイプ)カラムの対応するデータで[String] (文字列)を選択します。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
null不可能なプリミティブフィールドの入力値がnullの場合、そのフィールドを含むデータ行は拒否されることにご注意ください。 このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、ダイナミックスキーマをご覧ください。 ダイナミックスキーマ機能は、テーブルの不明なカラムを取得するしくみになっており、その他の目的には使用しないことをお勧めします。テーブルの作成には推奨しません。 |
| [Storage] (ストレージ) | データのアップロード先となるストレージのタイプを選択します。
|
| ステージフォルダー | データを保管するSnowflakeステージフォルダーを指定します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。 |
| [Region] (リージョン) | S3バケットが存在するリージョンを指定します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| [Access Key] (アクセスキー)および[Secret Key] (シークレットキー) | 使用するAmazon S3バケットへの接続に必要な認証情報を入力します。 パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| Bucket (バケット) | データの保管に使うバケットの名前を入力します(二重引用符内)。既存のバケットを用意しておく必要があります。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| フォルダー | データを保管するフォルダーの名前を入力します(二重引用符内)。このフォルダーは、ランタイムに存在しない場合は作成されます。 このプロパティは、[Storage] (ストレージ)ドロップダウンリストでS3またはAzureが選択されている場合のみ利用できます。 |
| [Server-Side Encryption] (サーバー側の暗号化) | サーバー側のS3バケットにアップロードするファイルを暗号化するには、このチェックボックスをオンにします。このチェックボックスは、デフォルトでオンになっています。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| [Protocol] (プロトコル) | Azure接続の作成に使うプロトコルを選択します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
| Account Name (アカウント名) | Azure Storageのアカウント名を入力します(二重引用符内)。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
| [Container] (コンテナー)と[Folder] (フォルダー) | データの保管に使うAzureコンテナーとフォルダーの名前を入力します(二重引用符内)。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
| SASトークン | ストレージアカウント内のオブジェクトに対する制限付きアクセスを付与するSASトークンを指定します。 SASトークンを入力するには、SASトークンフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
詳細設定
| プロパティ | 説明 |
|---|---|
| [Additional JDBC Parameters] (追加のJDBCパラメーター) |
作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー-値ペアです。たとえば、encryption=1;clientname=Talendになります。 このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている時のみ利用可能です。 |
| [Login Timeout] (ログインタイムアウト) |
Snowflakeのログイン試行のタイムアウト期間を分単位で指定します。この期間内にレスポンスが返されないと、エラーが生成されます。 |
|
ロール |
Snowflakeセッションを開始するために使用するデフォルトアクセス制御ロールを、二重引用符で囲んで入力します。 このロールは既に存在していて、Snowflakeへの接続に使用するユーザーIDに付与されている必要があります。このフィールドを空のままにしておくと、PUBLICロールが自動的に付与されます。Snowflakeのアクセス制御モデルについては、アクセス制御モデルの理解をご覧ください。 |
| [Region ID (Deprecated)] (リージョンID (非推奨)) | たとえば、eu-west-1またはeast-us-2.azureのように、リージョンIDを二重引用符で囲んで入力します。SnowflakeリージョンIDの詳細は、Supported Cloud Regionsをご覧ください。 tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから、[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。 |
| [URL suffix] (URLサフィックス) |
目的のSnowflakeカスタムドメインURLを二重引用符で囲んで入力します。Snowflake URL形式の詳細は、Standard account URLsをご覧ください。 tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから、[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。 |
| [Use vectors] (ベクターを使用) |
このコンポーネントはベクター検索機能をサポートしています。このオプションを使えば、ベクター検索で使用するベクターデータ型を保持するカラム指定できます。そのためには、[Vector properties] (ベクターのプロパティ)テーブルでカラム名(Column)、スキーマカラムのデータ型(Vector type）、そのサイズ(size)を指定する必要があります。 Snowflakeベクター検索の詳細は、該当するSnowflakeのドキュメンテーションをご覧ください。 |
| [Use Custom Stage Path] (カスタムステージパスを使用) | ステージの下のフォルダー内に生成されたファイルにデータをアップロードする場合は、このチェックボックスを選択します。表示されたフィールドにフォルダーへのパスを入力することも必要です。たとえば、ステージ下のmyfolder1/myfolder2内に生成されたファイルにデータをアップロードするには、フィールドに"@~/myfolder1/myfolder2"と入力する必要があります。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。 選択すると、[Basic settings] (基本設定)ビュー内の[Stage Folder] (ステージフォルダー)は利用できなくなります。 |
| Putコマンドオプション | ドロップダウンリストから、以下のオプションを選択し、PUTコマンドのパラメーターを設定するために使われます。PUTコマンドはSnowflakeによって提供されます。データがSnowflake stageフォルダーにアップロードされます。
このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。 |
| Putコマンドエラー再試行 | 内部Snowflakeストレージへのデータのロードにエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。 |
|
[S3 Assume Role] (S3ロールを引き受け) |
AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスを選択すればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。 このロールに関連付けられている信頼ポリシーによって、自分のユーザーアカウントにそのロールへのアクセスが付与されていることをご確認ください。不明であれば、そのロールの所有者かAWS管理者にお問い合わせください。 情報メモ注:
|
| S3エラー再試行最大回数 | S3フォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| Azureエラー再試行最大回数 | Azureフォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。 このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。 |
| カスタムS3接続設定の使用 | カスタムS3設定を使う場合は、このチェックボックスを選択します。
このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。 |
| 空でないストレージフォルダーアクション | データのアップロード用に指定したストレージフォルダーが空でない場合に実行されるアクションを指定します。
|
| チャンクサイズ(バイト) | 生成されるファイルのサイズを指定します。デフォルトは52428800バイトです。 このオプションを指定すると、受信データが複数のファイルに保管される場合があります。データはレコードベースでファイル内に保管されるため、生成される各ファイルの実際のサイズは指定した値よりも大きかったり小さかったりする場合がありますが、ファイル内に前回保管されたレコードのサイズを上回ることはありません。 このオプションはパフォーマンスに大きく影響する可能性があるので、設定には注意が必要です。関連情報は、File Sizing Best Practices and Limitationsをご覧ください。 |
| カスタムローカルフォルダーの使用 | 生成されたファイルを保持する一時フォルダーにローカルフォルダーを指定します。このオプションを選択すると、受信データを保管するファイルが指定のローカルフォルダー内に生成され、次にすべての受信データがアップロードされた後に指定のストレージに移動されます。 |
| ファイルリクエストスレッドの数 | データをファイルに書き込む時にPutリクエストを並行して送信するために使用されるスレッドの数を指定します。 |
|
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
グローバル変数
| 変数 | 説明 |
|---|---|
|
NB_LINE |
処理された行数。これはAfter変数で、整数を返します。 |
|
NB_SUCCESS |
正しく処理された行数。これはAfter変数で、整数を返します。 |
|
NB_REJECT |
リジェクトされた行数。これはAfter変数で、整数を返します。 |
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
使用方法
| 使用方法のガイダンス | 説明 |
|---|---|
|
使用ルール |
このコンポーネントは、ジョブ内のデータフローの終了コンポーネントです。このコンポーネントは、[Row] (行) > [Main] (メイン)リンクを介して他のコンポーネントからデータを受け取ります。 |