tKuduOutput

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

次に、使うKuduサービスのマスターノードの場所とリスニングポートを入力します。

このコンポーネントは、ClouderaにインストールされたApache Kuduサービスのみをサポートします。

Apache KuduとClouderaの間の互換性情報については、関連するClouderaドキュメント: Apache Kuduの互換性マトリクスを参照してください。

• スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  • [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

  • [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

• 情報メモ注: Kuduテーブルのスキーマは、1つ以上のカラムで構成されるプライマリキーを宣言する必要があります。これらのカラムはNULL不可である必要があり、ブール型、浮動小数点型、または倍精度型であってはなりません。

  スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Action on table] (テーブルでのアクション)

定義されたテーブルに対して実行する操作を選択します。

• [None] (なし): 操作は行われません。

• [Drop and create table] (ドロップしてテーブルを作成): テーブルが削除され、再作成されます。

• [Create table] (テーブルを作成): テーブルが存在しないため、作成されます。

• [Create table if not exists] (テーブルが存在しない場合は作成): テーブルが存在しない場合は作成されます。

• [Drop table if exist and create] (テーブルが存在する場合はドロップして作成): テーブルが既に存在する場合は削除されて再作成されます。

[Action on data] (データでのアクション)

定義されたテーブルのデータに対して実行する操作を選択します。

• [Insert] (挿入): テーブルに新しいエントリーを追加します。重複が見つかると、ジョブは停止します。

• [Update] (アップデート): 既存のエントリーが変更されます。

• [Upsert]: 指定された参照を使用してレコードをアップデートします。レコードが存在しない場合は、新しいレコードが挿入されます。

• [Delete] (削除): 入力フローに対応するエントリーを削除します。

KuduタブレットとKudu複製ポリシーの詳細は、Distribution and Fault Toleranceをご覧ください。

1. [+]ボタンをクリックして、どの行がハッシュパーティショニングされているかを基準にカラムを追加します。たとえば、hostカラムとmetricカラムです。

   これらのカラムは、データおよびtKuduOutputで定義したスキーマに存在する必要があります。

2. [Number of buckets] (バケット数)には、パーティションの保管に使用するバケットの数を二重引用符なしで入力します。これらのバケットはオンザフライで作成されます。

ランタイムに、行はこれらのバケットの1つにハッシュ値によって分散されます。この [Hash partitions] (ハッシュパーティション)テーブルを空のままにすると、テーブルの作成中にハッシュパーティショニングは適用されません。

Kuduでのハッシュパーティションの詳細は、Hash partitioningをご覧ください。

1. [+]ボタンをクリックして、どの行が連続セグメントにパーティショニングされているかを基準にプライマリキーカラムを追加します。たとえばtimeカラムです。

   これらのカラムは、データおよびtKuduOutputで定義したスキーマに存在する必要があります。

2. [N. Partition] (N.パーティション)に、作成するパーティションのID番号として使う数字を二重引用符なしで入力します。たとえば、1を入力してパーティション1を作成します。
3. [Lower boundary] (下限)と[Upper boundary] (上限)に、行を分割する境界を入力します。上限は除外され、境界間のデータ(下限を含む)のみがKuduテーブルに書き込まれます。

   たとえば、[Date] (日付)タイプのtimeカラムに基づいてデータをパーティショニングしていて、時間データの形式がyyyy-mm-ddである場合は、二重引用符なしでTalendDate.parseDate("yyyy-MM-dd", "2016-01-01")と入力することにより、下限を2016-01-01に設定できます。また、同じようにして上限を2018-01-01に設定できます。このように設定すると、2つの境界の間で日付を持つ行のみがこのパーティションに入ります。

ランタイムにこれらのカラムの行は、この[Range partitions] (範囲パーティション)テーブルに追加したカラムの値を使って分散されます。このテーブルを空のままにすると、テーブルの作成中には範囲パーティショニングが適用されません。

Kuduでの範囲パーティションの詳細は、Range partitioningをご覧ください。

このチェックボックスをオンにすると、エラー発生時にジョブの実行が停止されます。

このコンポーネントは、終了コンポーネントとして使用され、入力リンクを必要とします。

この接続は、ジョブごとに有効になります。