Accéder au contenu principal Passer au contenu complémentaire

Propriétés du tIcebergCatalog pour Apache Spark Batch

Ces propriétés sont utilisées pour configurer le tIcebergCatalog s'exécutant dans le framework de Jobs Spark Batch.

Le composant tIcebergCatalog Spark Batch appartient à la famille Big Data.

Le composant de ce framework est disponible dans tous les produits Talend.

Ce composant est disponible uniquement lorsque vous avez installé la version mensuelle 8.0.1-R2024-04 du Studio ou une plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

Basic settings

Register new catalog Sélectionnez ce paramètre pour enregistrer un nouveau catalogue.
Replace default spark_catalog with Iceberg's SparkSessionCatalog Sélectionnez ce paramètre pour remplacer la session par défaut de Spark Catalog. Pour plus d'informations, consultez Replacing the session catalog dans la documentation Iceberg (en anglais).
Name (Nom) Saisissez le nom du catalogue.
Saisissez Sélectionnez le type de catalogue à créer dans la liste déroulante :
  • Hadoop : crée un catalogue Iceberg chargeant des tables à partir d'un data warehouse Hadoop.
  • Hive : crée un catalogue Iceberg chargeant des tables à partir d'un Metastore Hive.
  • Rest : crée un catalogue Iceberg chargeant une table à partir d'un Metastore REST.
  • Hive : crée un catalogue Iceberg chargeant des tables à partir d'un Metastore personnalisé.
Warehouse path Saisissez le chemin d'accès racine au data warehouse dans lequel est stocké le catalogue.

Ce paramètre est disponible uniquement lorsque vous sélectionnez Hadoop dans la liste déroulante Type.

Uri Saisissez la chaîne de caractères d'URI du Metastore.

Cette propriété est disponible uniquement lorsque vous sélectionnez Hive ou Rest dans la liste déroulante Type.

Catalog implementation Saisissez l'implémentation personnalisée du catalogue à utiliser.

Cette propriété est disponible uniquement lorsque vous sélectionnez Custom dans la liste déroulante Type.

Catalog properties Saisissez les propriétés supplémentaires à utiliser pour le catalogue. Pour plus d'informations, consultez Configuration dans la documentation Iceberg (en anglais).

Cette propriété est disponible uniquement lorsque vous sélectionnez le paramètre Register new catalog.

Variables globales

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

Utilisation

Règle d'utilisation Ce composant est généralement utilisé avec d'autres composants Iceberg.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.