Apache Spark BatchのtIcebergCatalogプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtIcebergCatalogを設定するために使われます。
Spark BatchのtIcebergCatalogコンポーネントは、ビッグデータファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。
このコンポーネントは、Talendが提供する8.0.1 2024-04以降のStudioマンスリーアップデートをインストール済みである場合に利用できます。詳細は管理者にお問い合わせください。
基本設定
| [Register new catalog] (新しいカタログを登録) | 新しいカタログを登録する場合は、このパラメーターを選択します。 |
| [Replace default spark_catalog with Iceberg's SparkSessionCatalog] (デフォルトのspark_catalogをIcebergのSparkSessionCatalogに置換) | デフォルトのセッションSparkカタログを置換する場合は、このパラメーターを選択します。詳細は、IcebergのドキュメンテーションでReplacing the session catalogをご覧ください。 |
| [Name] (名前) | カタログの名前を入力します。 |
| [Type] (タイプ) | ドロップダウンリストから、作成するカタログのタイプを選択します:
|
| [Warehouse path] (ウェアハウスパス) | カタログが保存されているウェアハウスへのルートパスを入力します。 このパラメーターは、[Type] (タイプ)ドロップダウンリストでHadoopを選択した場合のみ利用できます。 |
| Uri | メタストアURI文字列を入力します。 このプロパティは、[Type] (タイプ)ドロップダウンリストでHiveまたはRestが選択されている場合のみ利用できます。 |
| [Catalog implementation] (カタログの実装) | 使用するカスタムのカタログ実装を入力します。 このプロパティは、[Type] (タイプ)ドロップダウンリストで[Costom] (カスタム)が選択されている場合のみ利用できます。 |
| [Catalog properties] (カタログのプロパティ) | カタログで使用する追加のプロパティを入力します。詳細は、IcebergのドキュメンテーションでConfigurationをご覧ください。 このプロパティは、[Register new catalog] (新しいカタログを登録)パラメーターを選択した場合にのみ利用できます。 |
グローバル変数
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
使用方法
| 使用ルール | このコンポーネントは通常、他のIcebergコンポーネントと共に使われます。 |