Apache Spark BatchのtIcebergOutputプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtIcebergOutputを設定するために使われます。
Spark BatchのtIcebergOutputコンポーネントは、ビッグデータファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。
このコンポーネントは、Talendが提供する8.0.1 2024-04以降のStudioマンスリーアップデートをインストール済みである場合に利用できます。詳細は管理者にお問い合わせください。
基本設定
| プロパティ | 説明 |
|---|---|
| [Catalog] (カタログ)と[Schema] (スキーマ) | Unity Catalogからデータセットを取得するためには、以下のパラメーターを指定します:
これらのフィールドは、Spark Batchジョブの[Spark Configuration] (Spark設定)タブで、Databricksと共に[Enable Unity Catalog] (Unityカタログを有効化)を選択した場合のみ利用可能です。 |
| [Table] (テーブル) | データの書き込み先テーブルの名前を入力します。 |
| [Action on table] (テーブルでのアクション) | ドロップダウンリストから、テーブルに対して実行したいアクションを選択します:
|
| [Set format] (形式を設定) | このチェックボックスをオンにして形式を指定し、[Format version] (形式バージョン)ドロップダウンリストと[File format] (ファイル形式)ドロップダウンリストから形式情報を選択します。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if not exists] (存在しない場合は作成)、[Replace] (置換)のいずれかを選択した場合のみ利用できます。 このパラメーターは、Spark Batchジョブの[Spark Configuration] (Spark設定)タブで、Databricksと共に[Enable Unity Catalog] (Unityカタログを有効化)を選択した場合は利用不可です。 |
| [Set location] (ロケーションを設定) | 作成するテーブルを保存したいロケーションパスを指定する場合は、このチェックボックスをオンにします。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if not exists] (存在しない場合は作成)、[Replace] (置換)のいずれかを選択した場合のみ利用できます。 |
| パーティションの設定 | テーブル内部にパーティションを作成する場合は、このチェックボックスをオンにし、表示される[Partition key] (パーティションキー)テーブルでカラムの名前を指定します。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if not exists] (存在しない場合は作成)、[Replace] (置換)のいずれかを選択した場合のみ利用できます。 |
| [Table properties] (テーブルのプロパティ) | プラスボタンをクリックし、キーと値の形式に従って追加の設定プロパティを入力します。たとえば、format-versionのようなプロパティを追加できます。利用可能な設定プロパティの詳細は、Apache IcebergのドキュメンテーションでConfigurationをご覧ください。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if not exists] (存在しない場合は作成)、[Replace] (置換)のいずれかを選択した場合のみ利用できます。 |
グローバル変数
| 変数 | 説明 |
|---|---|
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
使用方法
| 使用方法のガイダンス | 説明 |
|---|---|
| 使用ルール | このコンポーネントは通常、他のIcebergコンポーネントと共に使われます。 |