Apache Spark BatchのtIcebergOutputプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtIcebergOutputを設定するために使われます。
Spark BatchのtIcebergOutputコンポーネントは、ビッグデータファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。
このコンポーネントは、Talendが提供する8.0.1 2024-04以降のStudioマンスリーアップデートをインストール済みである場合に利用できます。詳細は管理者にお問い合わせください。
基本設定
| テーブル | データの書き込み先テーブルの名前を入力します。 |
| [Action on table] (テーブルでのアクション) | ドロップダウンリストから、テーブルに対して実行したいアクションを選択します:
|
| [Set format] (形式を設定) | このチェックボックスを選択して形式を指定し、[Format version] (形式バージョン)ドロップダウンリストと[File format] (ファイル形式)ドロップダウンリストから形式情報を選択します。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if not exists] (存在しない場合は作成)、[Replace] (置換)のいずれかを選択した場合のみ利用できます。 |
| [Set location] (ロケーションを設定) | 作成するテーブルを保存したいロケーションパスを指定する場合は、このチェックボックスを選択します。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if not exists] (存在しない場合は作成)、[Replace] (置換)のいずれかを選択した場合のみ利用できます。 |
| パーティションの設定 | テーブル内部にパーティションを作成する場合は、このチェックボックスを選択し、表示される[Partition key] (パーティションキー)テーブルでカラムの名前を指定します。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if not exists] (存在しない場合は作成)、[Replace] (置換)のいずれかを選択した場合のみ利用できます。 |
| [Table properties] (テーブルのプロパティ) | プラスボタンをクリックし、キーと値の形式に従って追加の設定プロパティを入力します。たとえば、format-versionのようなプロパティを追加できます。利用可能な設定プロパティの詳細は、Apache IcebergのドキュメンテーションでConfigurationをご覧ください。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if not exists] (存在しない場合は作成)、[Replace] (置換)のいずれかを選択した場合のみ利用できます。 |
グローバル変数
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
使用方法
| 使用ルール | このコンポーネントは通常、他のIcebergコンポーネントと共に使われます。 |