Apache Spark BatchのtKuduConfigurationプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtKuduConfigurationを設定するために使われます。
Spark BatchのtKuduConfigurationコンポーネントは、ストレージファミリーとデータベースファミリーに属しています。
このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。
基本設定
|
[Server connection] (サーバー接続) |
[+]ボタンをクリックして、使う必要があるKuduマスターと同じ数の行を追加します。各行はマスター用です。 次に、使うKuduサービスのマスターノードの場所とリスニングポートを入力します。 このコンポーネントは、ClouderaにインストールされたApache Kuduサービスのみをサポートします。 Apache KuduとClouderaの間の互換性情報については、Clouderaの関連ドキュメンテーション(Compatibility Matrix for Apache Kudu)をご覧ください。 |
使用方法
|
使用ルール |
このコンポーネントは、他のコンポーネントに接続せずに使用されます。 Cloudera Kuduクラスターに接続する必要がある場合のみ使ってください。 |
|
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |