メイン コンテンツをスキップする 補完的コンテンツへスキップ

Apache Spark BatchのtIcebergCatalogプロパティ

これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtIcebergCatalogを設定するために使われます。

Spark BatchtIcebergCatalogコンポーネントは、ビッグデータファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

このコンポーネントは、Talendが提供する8.0.1 2024-04以降のStudioマンスリーアップデートをインストール済みである場合に利用できます。詳細は管理者にお問い合わせください。

基本設定

[Register new catalog] (新しいカタログを登録) 新しいカタログを登録する場合は、このパラメーターを選択します。
[Replace default spark_catalog with Iceberg's SparkSessionCatalog] (デフォルトのspark_catalogをIcebergのSparkSessionCatalogに置換) デフォルトのセッションSparkカタログを置換する場合は、このパラメーターを選択します。詳細は、IcebergのドキュメンテーションでReplacing the session catalogをご覧ください。
[Name] (名前) カタログの名前を入力します。
[Type] (タイプ) ドロップダウンリストから、作成するカタログのタイプを選択します:
  • Hadoop: HadoopウェアハウスからテーブルをロードするIcebergカタログを作成します。
  • Hive: HiveメタストアからテーブルをロードするIcebergカタログを作成します。
  • Rest: RESTメタストアからテーブルをロードするIcebergカタログを作成します。
  • [Custom] (カスタム): カスタムメタストアからテーブルをロードするIcebergカタログを作成します。
[Warehouse path] (ウェアハウスパス) カタログが保存されているウェアハウスへのルートパスを入力します。

このパラメーターは、[Type] (タイプ)ドロップダウンリストでHadoopを選択した場合のみ利用できます。

Uri メタストアURI文字列を入力します。

このプロパティは、[Type] (タイプ)ドロップダウンリストでHiveまたはRestが選択されている場合のみ利用できます。

[Catalog implementation] (カタログの実装) 使用するカスタムのカタログ実装を入力します。

このプロパティは、[Type] (タイプ)ドロップダウンリストで[Costom] (カスタム)が選択されている場合のみ利用できます。

[Catalog properties] (カタログのプロパティ) カタログで使用する追加のプロパティを入力します。詳細は、IcebergのドキュメンテーションでConfigurationをご覧ください。

このプロパティは、[Register new catalog] (新しいカタログを登録)パラメーターを選択した場合にのみ利用できます。

グローバル変数

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

使用ルール このコンポーネントは通常、他のIcebergコンポーネントと共に使われます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。