Apache Spark BatchのtSnowflakeConfigurationプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtSnowflakeConfigurationを設定するために使われます。
Spark BatchのtSnowflakeConfigurationコンポーネントは、データベースファミリーに属しています。
このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。
基本設定
| [Account] (アカウント) |
[Account] (アカウント)フィールドに、Snowflakeによって割り当てられたアカウント名を二重引用符で囲んで入力します。 |
| Region |
ドロップダウンリストからAWSまたはAzureリージョンを選択します。 |
| 認証方式 |
認証方式を設定するために使われます。
情報メモ注: [Key Pair] (キーペア)オプションを選択する前に、tSetKeyStoreコンポーネントの[Basic settings] (基本設定)ビューでキーペア認証データが次のように設定済みであることを確認します。
情報メモ注: [Key Pair] (キーペア)オプションは、ローカルSparkモードでSpark v2.4以降を使用している場合、EMR 5.29およびCDH 6.1ディストリビューションでのみ利用できます。
|
| [Username] (ユーザー名)と[Password] (パスワード) |
Snowflakeにログインするための認証情報を二重引用符で囲んで入力します。 |
| [Database] (データベース) |
使用するSnowflakeデータベースの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 |
| [Database Schema] (データベーススキーマ) |
使用するデータベーススキーマの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 |
| [Warehouse] (ウェアハウス) |
使用するSnowflakeウェアハウスの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 |
| [Connection properties] (接続のプロパティ) |
対応するカラムに、接続のプロパティと関連する値を二重引用符で囲んで入力します。Snowflakeの公式ドキュメントから、Setting Configuration Options for the Connectorで使用可能なプロパティを見つけることができます。 |
詳細設定
| [Use Custom Region] (カスタムリージョンを使う) | このチェックボックスをオンにすると、カスタマイズしたSnowflakeリージョンが使用されます。 |
| [Custom Region] (カスタムリージョン) | 使用するリージョンの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。 |
使用方法
|
使用ルール |
このコンポーネントは、他のコンポーネントに接続せずに使用されます。 tMysqlConfigurationコンポーネントの設定は、この設定を使い、同じジョブ内にあるMySQL関連のコンポーネントにのみ適用されます。 |
|
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |