Paramètres de projet de pipeline de données

Vous pouvez modifier les paramètres d'un projet de pipeline de données dans Qlik Talend Data Integration. Les propriétés sont communes au projet et à toutes les tâches de données comprises. Certains paramètres ne sont disponibles que pour des plateformes de données spécifiques.

• Cliquez sur Paramètres dans le projet.

Plateforme de données

Vous pouvez modifier les paramètres suivants :

• Connexion

  Connexion du projet.

• Connexion à la zone intermédiaire

  Cette option n'est pas disponible lorsque la plateforme de données est Snowflake.

Métadonnées

Vous pouvez définir un suffixe pour des artefacts internes et des suffixes par défaut pour les vues que vous créez.

• Préférences d'artefacts internes

  Définissez le suffixe à utiliser pour les schémas employés pour stocker des artefacts internes dans Suffixe du schéma.

• Suffixes des vues externes

  Définissez les suffixes par défaut pour les vues créées dans les tâches de données incluses dans le projet.

Valeurs par défaut de la tâche de données

Vous pouvez définir des valeurs par défaut des tâches de données incluses dans le projet. Lorsque vous créez une tâche de données, vous pouvez modifier la valeur.

Vous pouvez définir la base de données par défaut afin de créer des artefacts cibles pour tous les types de tâches de données.

Dépôt temporaire de valeurs par défaut

• Serveur proxy lors de l'utilisation de la passerelle Déplacement des données

  Pour pouvez décider d'utiliser un serveur proxy lorsque la passerelle Déplacement des données se connecte à l'entrepôt de données cloud et à la zone de stockage.

  Pour plus d'informations sur la configuration de la passerelle Déplacement des données de sorte qu'elle utilise un serveur proxy, voir Configuration du client Qlik Cloud et d'un serveur proxy.

  • Utiliser un proxy pour se connecter à l'entrepôt de données cloud

    Note InformationsDisponible lors de l'utilisation de Snowflake, de Google BigQuery et de Databricks.

  • Utiliser un proxy pour se connecter au stockage

    Note InformationsDisponible lors de l'utilisation d'Azure Synapse Analytics, d'Amazon Redshift et de Databricks.

Valeurs par défaut du stockage

• Data store historique (Type 2)

  Vous pouvez conserver les données historiques de changement pour faciliter la recréation des données à l'identique à un instant précis. Les vues Historique et Historique en direct vous permettent de consulter les données historiques.

• Vues en direct

  Les vues en direct affichent une vue de chaque table source sélectionnée qui fusionne la table avec les modifications de la table de modifications. Cela fournit aux requêtes une vue en direct des données sans avoir à attendre le cycle d'application suivant.

Base de données par défaut

Vous pouvez utiliser la base de données par défaut du projet ou spécifier une autre base de données.

Catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme de jeu de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Valeurs par défaut de transformation

• Data store historique (Type 2)

  Vous pouvez conserver les données historiques de changement pour faciliter la recréation des données à l'identique à un instant précis. Les vues Historique et Historique en direct vous permettent de consulter les données historiques.

Matérialisation

• Non matérialisées (Vues uniquement)

  Sélectionnez cette option pour créer uniquement des vues effectuant des transformations à la volée.

• Matérialisées (Tables et Vues)

  Sélectionnez cette option pour créer à la fois des tables et des vues.

Base de données par défaut

Vous pouvez utiliser la base de données par défaut du projet ou spécifier une autre base de données.

Catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme de jeu de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Valeurs par défaut du mini-data warehouse

Base de données par défaut

Vous pouvez utiliser la base de données par défaut du projet ou spécifier une autre base de données.

Catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme de jeu de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Valeurs par défaut des données enregistrées

Base de données par défaut

Vous pouvez utiliser la base de données par défaut du projet ou spécifier une autre base de données.

Catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme de jeu de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Paramètres de chargement incrémentiel

Ces paramètres sont disponibles lorsque l'option Incrémentiel via limite supérieure est sélectionnée.

• Tables de modifications

  Si les modifications figurent dans la même table, sélectionnez Les modifications figurent dans la même table.

  Sinon, décochez Les modifications figurent dans la même table et spécifiez un modèle de table de modifications.

• Colonne de limite supérieure

  Indiquez le nom de la colonne de limite supérieure dans Nom.

• Colonne "Date de début"

  Vous pouvez définir la "Date de début" via l'heure de début ou via une colonne sélectionnée.

  Si vous sélectionnez Colonne "Date de début" sélectionnée, vous devez définir un Modèle "Date de début".

• Suppressions réversibles

  Vous pouvez inclure des suppressions réversibles dans les modifications en sélectionnant Les modifications incluent des suppressions réversibles et en définissant une expression d'indication.

  L'expression d'indication doit être évaluée sur true si la modification est une suppression réversible.

  Exemple : ${is_deleted} = 1

• Image d'avant

  Vous pouvez filtrer les enregistrements d'images d'avant dans les modifications des tables de modifications en sélectionnant Image d'avant et en définissant une expression d'indication.

  L'expression d'indication doit être évaluée sur true si la ligne contient l'image précédent la mise à jour.

  Exemple : ${header__change_oper} = 'B'

Temps d'exécution

Vous pouvez définir les paramètres de performance du délai d'exécution par défaut des ressources de données incluses dans le projet.

Dépôt temporaire de valeurs par défaut

• Vous pouvez définir le nombre maximal de connexions de base de données dans Exécution parallèle.

Valeurs par défaut du stockage

• Vous pouvez définir les paramètres de planification par défaut sur une planification à intervalle défini. Il s'agira de la valeur par défaut de chaque tâche de stockage créée.

• Vous pouvez définir l'entrepôt de données par défaut si la plateforme de projet est Snowflake.

Valeurs par défaut de transformation

• Vous pouvez définir les paramètres de planification par défaut sur une planification à intervalle défini ou qui se déclenche À la fin de toute tâche de données d'entrée. Il s'agira de la valeur par défaut de chaque tâche de transformation créée.

• Vous pouvez définir l'entrepôt de données par défaut si la plateforme de projet est Snowflake.

Valeurs par défaut du mini-data warehouse

• Vous pouvez définir les paramètres de planification par défaut sur une planification à intervalle défini ou qui se déclenche À la fin de toute tâche de données d'entrée. Il s'agira de la valeur par défaut de chaque tâche de mini-data warehouse créée.

• Vous pouvez définir l'entrepôt de données par défaut si la plateforme de projet est Snowflake.