メイン コンテンツをスキップする 補完的コンテンツへスキップ

tSnowflakeOutputBulkの標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtSnowflakeOutputBulkを設定するために使われます。

標準tSnowflakeOutputBulkコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのサブスクリプションベースのTalend製品で使用できます。

情報メモ注: このコンポーネントは、動的データベースコネクターの特定のバージョンです。データベース設定に関連するプロパティは、データベースタイプの選択に応じて異なります。動的データベースコネクターについては、DB Genericコンポーネントをご覧ください。

基本設定

データベース

目的のデータベースタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。

    このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Connection Component] (接続コンポーネント)ドロップダウンリストから、他の接続コンポーネントを選択した場合、このプロパティは、利用できません。

[Connection Component] (接続コンポーネント)

このコンポーネントで再利用するデータベース接続を開くコンポーネントを選択します。

[Account] (アカウント)

[Account] (アカウント)フィールドに、Snowflakeによって割り当てられたアカウント名を二重引用符で囲んで入力します。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている場合のみ利用できます。

[Authentication Type] (認証タイプ)

認証タイプを設定するために使われます。

  • [Basic] (基本): キーペア認証が有効でない場合は、このオプションを選択します。

  • [Key Pair] (キーペア): キーペア認証が有効な場合は、このオプションを選択します。

    関連情報は、[Using Key Pair Authentication] (キーペア認証を使う)をご覧ください。

  • OAuth 2.0: このオプションを選択すると、データアクセスで外部OAuthを使用できます。

    関連情報は、外部OAuthの概要をご覧ください。

情報メモ注: [Key Pair] (キーペア)オプションを選択する前に、tSetKeyStoreコンポーネントの[Basic settings] (基本設定)ビューでキーペア認証データが次のように設定済みであることを確認します。
  1. [TrustStore type] (TrustStoreタイプ)フィールドをそのままにしておきます。
  2. [TrustStore file] (TrustStoreファイル)""に設定します。
  3. [TrustStore password] (TrustStoreパスワード)フィールドをクリアします。
  4. [Need Client authentication] (クライアント認証が必要)を選択します。
  5. KeyStoreファイルへのパスを二重引用符で囲んで[KeyStore file] (KeyStoreファイル)フィールドに入力します(または[KeyStore file] (KeyStoreファイル)フィールドの右側にある[…]ボタンをクリックして、KeyStoreファイルに移動します)。
  6. KeyStoreファイルのパスワードを[KeyStore password] (KeyStoreパスワード)フィールドに入力します。
  7. [Check server identity] (サーバーIDをチェック)オプションをクリアします。
[OAuth token endpoint] (OAuthトークンエンドポイント) OAuth 2.0トークンエンドポイントを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[Client ID] (クライアントID) アプリケーションのクライアントIDを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[Client Secret] (クライアントシークレット) アプリケーションのクライアントシークレットを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[Grant type] (付与タイプ) アクセストークン取得のために付与タイプを設定するために使われます。[Client Credentials] (クライアント認証情報)[Password] (パスワード)という2つのオプションがあります。

関連情報は、クライアント認証情報リソース所有者のパスワード認証情報をご覧ください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[OAuth username] (OAuthユーザー名) OAuthユーザー名を入力します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。

[OAuth password] (OAuthパスワード) OAuthパスワードを入力します。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力した後、[OK]クリックして設定を保存します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。

情報メモ注: OAuthパスワードではスペースがサポートされていません。
Scope (スコープ) スコープを入力します。関連情報はスコープをご覧ください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[User Id] (ユーザーID)[Password] (パスワード)

Snowflakeにログインするための認証情報を二重引用符で囲んで入力します。

  • [User ID]フィールドに、SnowflakeのLOGIN_NAMEパラメーターを使って、Snowflakeで定義されているログイン名を二重引用符で囲んで入力します。詳細は、Snowflakeシステムの管理者にお問い合わせください。

  • パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている場合のみ利用できます。

[Warehouse] (ウェアハウス)

使用するSnowflakeウェアハウスの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている場合のみ利用できます。

[Schema] (スキーマ)

使用するデータベーススキーマの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている場合のみ利用できます。

[Database] (データベース)

使用するSnowflakeデータベースの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている場合のみ利用できます。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

処理するSnowflake データ型がVARIANT(変数)、OBJECT(オブジェクト)、またはARRAY(配列)の場合は、コンポーネントでスキーマを定義する際にスキーマエディターウィザードの[Type] (タイプ)カラムの対応するデータで[String] (文字列)を選択します。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

null不可能なプリミティブフィールドの入力値がnullの場合、そのフィールドを含むデータ行は拒否されることにご注意ください。

このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、ダイナミックスキーマをご覧ください。

ダイナミックスキーマ機能は、テーブルの不明なカラムを取得するしくみになっており、その他の目的には使用しないことをお勧めします。テーブルの作成には推奨しません。

[Storage] (ストレージ) データのアップロード先となるストレージのタイプを選択します。
  • [Internal] (内部): データを内部Snowflakeストレージ内のフォルダーに保管します。また、[Stage Folder] (ストレージフォルダー)内の二重引用符で囲まれたフォルダーを指定する必要があります。
  • S3: データをAmazon S3フォルダーに保管します。また、[Region] (リージョン)[Access Key] (アクセスキー) (二重引用符内)、[Secret Key] (シークレットキー)[Bucket] (バケット) (二重引用符内)、[Folder] (フォルダー) (二重引用符内)を含め、S3ユーザーアカウントに関する情報も入力が必要です。
  • Azure: データをAzureフォルダーに保管します。また、[Protocol] (プロトコル)[Account Name] (アカウント名) (二重引用符内)、[Container] (コンテナー) (二重引用符内)、[Folder] (フォルダー) (二重引用符内)、[SAS Token] (SASトークン)を含め、Azureユーザーアカウントに関する情報も入力が必要です。
ステージフォルダー データを保管するSnowflakeステージフォルダーを指定します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。

Region S3バケットが存在するリージョンを指定します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

[Access Key] (アクセスキー)および[Secret Key] (シークレットキー) 使用するAmazon S3バケットへの接続に必要な認証情報を入力します。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

Bucket (バケット) データの保管に使うバケットの名前を入力します(二重引用符内)。既存のバケットを用意しておく必要があります。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

フォルダー データを保管するフォルダーの名前を入力します(二重引用符内)。このフォルダーは、ランタイムに存在しない場合は作成されます。

このプロパティは、[Storage] (ストレージ)ドロップダウンリストでS3またはAzureが選択されている場合のみ利用できます。

[Server-Side Encryption] (サーバー側の暗号化) サーバー側のS3バケットにアップロードするファイルを暗号化するには、このチェックボックスをオンにします。このチェックボックスは、デフォルトでオンになっています。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

[Protocol] (プロトコル) Azure接続の作成に使うプロトコルを選択します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。

Account Name (アカウント名) Azure Storageのアカウント名を入力します(二重引用符内)。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。

[Container] (コンテナー)[Folder] (フォルダー) データの保管に使うAzureコンテナーとフォルダーの名前を入力します(二重引用符内)。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。

SASトークン ストレージアカウント内のオブジェクトに対する制限付きアクセスを付与するSASトークンを指定します。

SASトークンを入力するには、SASトークンフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。

詳細設定

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー-値ペアです。たとえば、encryption=1;clientname=Talendになります。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストで[Use this Component] (このコンポーネントを使用)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストで[Internal] (内部)が選択されている場合のみ利用できます。

[Login Timeout] (ログインタイムアウト)

Snowflakeのログイン試行のタイムアウト期間を分単位で指定します。この期間内にレスポンスが返されないと、エラーが生成されます。

ロール

Snowflakeセッションを開始するために使用するデフォルトアクセス制御ロールを、二重引用符で囲んで入力します。

このロールは既に存在していて、Snowflakeへの接続に使用するユーザーIDに付与されている必要があります。このフィールドを空のままにしておくと、PUBLICロールが自動的に付与されます。Snowflakeのアクセス制御モデルについては、アクセス制御モデルの理解をご覧ください。

[Region ID (Deprecated)] (リージョンID (非推奨)) たとえば、eu-west-1またはeast-us-2.azureのように、リージョンIDを二重引用符で囲んで入力します。SnowflakeリージョンIDの詳細は、Supported Cloud Regionsをご覧ください。

tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから、[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。

カスタムステージパスの使用 ステージの下のフォルダー内に生成されたファイルにデータをアップロードする場合は、このチェックボックスを選択します。表示されたフィールドにフォルダーへのパスを入力することも必要です。たとえば、ステージ下のmyfolder1/myfolder2内に生成されたファイルにデータをアップロードするには、フィールドに"@~/myfolder1/myfolder2"と入力する必要があります。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。

選択すると、[Basic settings] (基本設定)ビュー内の[Stage Folder] (ステージフォルダー)は利用できなくなります。
Putコマンドオプション ドロップダウンリストから、以下のオプションを選択し、PUTコマンドのパラメーターを設定するために使われます。PUTコマンドはSnowflakeによって提供されます。データがSnowflake stageフォルダーにアップロードされます。
  • [Default] (デフォルト): 右側のフレームにリスト表示されているデフォルト設定を使ってPUT操作を実行します。
  • [Table] (テーブル): [Options] (オプション)テーブルを使ってPUT操作パラメーターを設定するために使われます。パラメーターを設定するには、[+]ボタンをクリックし、[Option] (オプション)カラムからパラメーターを選択し、[Value] (値)カラムにパラメーター値を設定するために使われます。
  • [Manual] (手動): 右側のテキストフレームにPUT操作パラメーターを手動で設定します。
PUTコマンドのパラメーターについては、the PUT commandをご覧ください。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。

Putコマンドエラー再試行 内部Snowflakeストレージへのデータのロードにエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Internal] (内部)が選択されている場合のみ利用できます。

[S3 Assume Role] (S3ロールを引き受け)

AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスを選択すればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。

このロールに関連付けられている信頼ポリシーによって、自分のユーザーアカウントにそのロールへのアクセスが付与されていることをご確認ください。不明であれば、そのロールの所有者かAWS管理者にお問い合わせください。

情報メモ注:
  • このオプションは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]が選択された場合に利用できます。
  • 想定されるロールの一時認証情報がus-east-1リージョンの AWS STS から要求されます。
  • [Role ARN] (ロールARN): 引き受けるロールのARN (Amazonリソース名)。このARN名は、AWSポータルで使用するロールの[Summary] (概要)ページで見つかります。このロールARNの形式は、たとえばam:aws:iam::[aws_account_number]:role/[role_name]となります。

  • [Role session name] (ロールセッション名): 引き受けたロールセッションの一意識別に使用する名前を入力します。この名前には英字(大文字と小文字の両方)と数字を利用できますが、スペースを含めることはできません。また、アンダースコア( _ )の他、= , . @ - も使用できます。

  • [Session duration] (セッション処理時間): 引き受けたロールセッションをアクティブにする期間(分)。この期間をAWS管理者が設定した最大期間より長くすることはできません。処理時間のデフォルトは15分です。

IAMロールと関連するポリシータイプの例については、AWSドキュメンテーションで[Create and Manage AWS IAM Roles] (AWS IAMロールの作成と管理)をご覧ください。
S3エラー再試行最大回数 S3フォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

Azureエラー再試行最大回数 Azureフォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[Azure]を選択した場合に利用できます。

カスタムS3接続設定の使用 カスタムS3設定を使う場合は、このチェックボックスを選択します。
  • [Option] (オプション): リストからパラメーターを選択します。

  • [Value] (値): パラメーター値を入力します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから、[S3]が選択されている場合のみ利用できます。

空でないストレージフォルダーアクション データのアップロード用に指定したストレージフォルダーが空でない場合に実行されるアクションを指定します。
  • [Add New Files] (新しいファイルの追加): ジョブの処理を続行し、新しいファイルをフォルダーに追加します。
  • [Cancel Upload] (アップロードのキャンセル): 操作を停止します。
  • [Replace Existing Files] (既存のファイルを置換): 新しいファイルを追加する前にストレージフォルダーをクリアします。
チャンクサイズ(バイト) 生成されるファイルのサイズを指定します。デフォルトは52428800バイトです。

このオプションを指定すると、受信データが複数のファイルに保管される場合があります。データはレコードベースでファイル内に保管されるため、生成される各ファイルの実際のサイズは指定した値よりも大きかったり小さかったりする場合がありますが、ファイル内に前回保管されたレコードのサイズを上回ることはありません。

このオプションはパフォーマンスに大幅な影響を与える場合があります。したがって、設定は慎重に行ってください。関連情報は、File Sizing Best Practices and Limitationsをご覧ください。
カスタムローカルフォルダーの使用 生成されたファイルを保持する一時フォルダーにローカルフォルダーを指定します。このオプションを選択すると、受信データを保管するファイルが指定のローカルフォルダー内に生成され、次にすべての受信データがアップロードされた後に指定のストレージに移動されます。
ファイルリクエストスレッドの数 データをファイルに書き込む時にPutリクエストを並行して送信するために使用されるスレッドの数を指定します。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

NB_SUCCESS

正しく処理された行数。これはAfter変数で、整数を返します。

NB_REJECT

リジェクトされた行数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

使用ルール

このコンポーネントは、ジョブ内のデータフローの終了コンポーネントです。このコンポーネントは、[Row] (行) > [Main] (メイン)リンクを介して他のコンポーネントからデータを受け取ります。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。