Apache Spark BatchのtIcebergInputプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtIcebergInputを設定するために使われます。
Spark BatchのtIcebergInputコンポーネントは、ビッグデータファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。
このコンポーネントは、Talendが提供する8.0.1 2024-04以降のStudioマンスリーアップデートをインストール済みである場合に利用できます。詳細は管理者にお問い合わせください。
基本設定
| プロパティ | 説明 |
|---|---|
| スキーマ | ドロップダウンリストから、スキーマのタイプを選択します:
|
| [Edit Schema] (スキーマを編集) |
スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。 |
| [Table] (テーブル) | データの読み取り元にするテーブル名を入力します。 |
| [Use time travel] (タイムトラベルを使用) | このチェックボックスをオンにすると、次の項目を指定してデータを読み取ることができます:
|
| [Catalog] (カタログ)と[Schema] (スキーマ) | Unity Catalogからデータセットを取得するためには、以下のパラメーターを指定します:
これらのフィールドは、Spark Batchジョブの[Spark Configuration] (Spark設定)タブで、Databricksと共に[Enable Unity Catalog] (Unityカタログを有効化)を選択した場合のみ利用可能です。 |
グローバル変数
| 変数 | 説明 |
|---|---|
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
使用方法
| 使用方法のガイダンス | 説明 |
|---|---|
| 使用ルール | このコンポーネントは通常、他のIcebergコンポーネントと共に使われます。 |