Paramètres de projet de pipeline de données

Vous pouvez modifier les paramètres d'un projet de pipeline de données dans Qlik Talend Data Integration. Les propriétés sont communes au projet et à toutes les tâches de données comprises. Certains paramètres ne sont disponibles que pour des plateformes de données spécifiques.

• Cliquez sur Paramètres dans le projet.

Paramètres des projets de pipeline de données d'entrepôt de données

Plateforme de données

Vous pouvez modifier les paramètres suivants :

• Connexion

  Connexion du projet.

• Connexion à la zone intermédiaire

  Cette option n'est pas disponible lorsque la plateforme de données est Snowflake.

Métadonnées

Vous pouvez définir un suffixe pour des artefacts internes et des suffixes par défaut pour les vues que vous créez.

• Préférences en matière d'artefacts

  • Préfixe pour tous les schémas m Préfixe à ajouter aux schémas de données créés dans le projet. Cela s'avère utile lorsqu'un projet importé figure dans le même entrepôt de données cloud qu'un projet exporté.

  • Suffixe pour schéma interne : suffixe à utiliser pour les schémas employés pour stocker des artefacts internes.

  • Casse par défaut du nom du schéma : casse par défaut de tous les noms de schéma. Si votre base de données est configurée de sorte à forcer la mise en majuscules, cette option n'aura pas d'effet.

• Suffixes pour les vues externes

  Définissez les suffixes par défaut pour les vues créées dans les tâches de données incluses dans le projet.

Paramètres par défaut pour les nouvelles tâches

Vous pouvez définir des valeurs par défaut pour les tâches de données créées dans le projet. Lorsque vous créez une tâche de données, vous pouvez modifier la valeur.

Vous pouvez définir la base de données par défaut afin de créer des artefacts cibles pour tous les types de tâches de données.

Paramètres par défaut des tâches de dépôt temporaire

Base de données par défaut

Vous pouvez utiliser la base de données par défaut du projet ou spécifier une autre base de données.

Accès à la cible via un proxy lors de l'utilisation de Passerelle de déplacement des données

• Lorsque vous utilisez la passerelle Data Movement, connectez-vous via un proxy à

  Lorsque vous utilisez Passerelle de déplacement des données, vous pouvez vous connecter à la plateforme cible et à la plateforme (zone) de staging via un proxy.

  Pour plus d'informations sur la configuration de Passerelle de déplacement des données pour l'utilisation d'un serveur proxy, consultez Configuration du client Qlik Cloud et d'un serveur proxy.

  • la plateforme cible

    Note InformationsDisponible lors de l'utilisation de Snowflake, de Google BigQuery et de Databricks.

  • la plateforme intermédiaire

    Note InformationsDisponible lors de l'utilisation d'Azure Synapse Analytics, d'Amazon Redshift et de Databricks.

Paramètres par défaut des tâches de stockage

• Data store historique (Type 2)

  Vous pouvez conserver les données historiques de changement pour faciliter la recréation des données à l'identique à un instant précis. Les vues Historique et Historique en direct vous permettent de consulter les données historiques.

• Vues en direct

  Les vues en direct affichent une vue de chaque table source sélectionnée qui fusionne la table avec les modifications de la table de modifications. Cela fournit aux requêtes une vue en direct des données sans avoir à attendre le cycle d'application suivant.

Base de données par défaut

Vous pouvez utiliser la base de données par défaut du projet ou spécifier une autre base de données.

Catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme de jeu de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Type de vue par défaut

• Vues standards

  Utilisez des vues standards pour afficher les résultats d'une requête comme s'il s'agissait d'un tableau.

• Vues sécurisées Snowflake

  Utilisez Vues sécurisées Snowflake pour les vues désignées pour la confidentialité des données ou la protection des informations sensibles telles que les vues créées pour limiter l'accès aux données sensibles qui ne doivent pas être exposées à tous les utilisateurs des tables sous-jacentes. L'exécution de Vues sécurisées Snowflake peut être plus lente que celle de Vues standards.

Paramètres par défaut des tâches de données enregistrées

Base de données par défaut

Vous pouvez utiliser la base de données par défaut du projet ou spécifier une autre base de données.

Catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme de jeu de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Paramètres de chargement incrémentiel

Ces paramètres sont disponibles lorsque l'option Incrémentiel via limite supérieure est sélectionnée.

• Tables de modifications

  Si les modifications figurent dans la même table, sélectionnez Les modifications figurent dans la même table.

  Sinon, décochez Les modifications figurent dans la même table et spécifiez un modèle de table de modifications.

• Colonne de limite supérieure

  Indiquez le nom de la colonne de limite supérieure dans Nom.

• Colonne "Date de début"

  Vous pouvez définir la "Date de début" via l'heure de début ou via une colonne sélectionnée.

  Si vous sélectionnez Colonne "Date de début" sélectionnée, vous devez définir un Modèle "Date de début".

• Suppressions réversibles

  Vous pouvez inclure des suppressions réversibles dans les modifications en sélectionnant Les modifications incluent des suppressions réversibles et en définissant une expression d'indication.

  L'expression d'indication doit être évaluée sur true si la modification est une suppression réversible.

  Exemple : ${is_deleted} = 1

• Image d'avant

  Vous pouvez filtrer les enregistrements d'images d'avant dans les modifications des tables de modifications en sélectionnant Image d'avant et en définissant une expression d'indication.

  L'expression d'indication doit être évaluée sur true si la ligne contient l'image précédent la mise à jour.

  Exemple : ${header__change_oper} = 'B'

Paramètres par défaut des tâches de transformation

• Data store historique (Type 2)

  Vous pouvez conserver les données historiques de changement pour faciliter la recréation des données à l'identique à un instant précis. Les vues Historique et Historique en direct vous permettent de consulter les données historiques.

Matérialisation

• Non matérialisées (Vues uniquement)

  Sélectionnez cette option pour créer uniquement des vues effectuant des transformations à la volée.

• Matérialisées (Tables et Vues)

  Sélectionnez cette option pour créer à la fois des tables et des vues.

Base de données par défaut

Vous pouvez utiliser la base de données par défaut du projet ou spécifier une autre base de données.

Catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme de jeu de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Type de vue par défaut

• Vues standards

  Utilisez des vues standards pour afficher les résultats d'une requête comme s'il s'agissait d'un tableau.

• Vues sécurisées Snowflake

  Utilisez Vues sécurisées Snowflake pour les vues désignées pour la confidentialité des données ou la protection des informations sensibles telles que les vues créées pour limiter l'accès aux données sensibles qui ne doivent pas être exposées à tous les utilisateurs des tables sous-jacentes. L'exécution de Vues sécurisées Snowflake peut être plus lente que celle de Vues standards.

Type de table par défaut

Ces paramètres ne sont disponibles que dans les projets dont la plateforme de données est Snowflake.

• Type de table

  Vous pouvez sélectionner le type de table à utiliser :

  • Tables Snowflake

  • Tables Iceberg gérées par Snowflake

    Vous devez définir le nom par défaut du volume externe dans Volume externe Snowflake.

• Dossier de stockage Cloud à utiliser

  Sélectionnez le dossier à utiliser lors du dépôt temporaire de données dans la zone intermédiaire.

  • Dossier par défaut

    Cela crée un dossier portant le nom par défaut suivant : <nom de projet>/<nom de tâche de données>.

  • Dossier racine

    Conservez les données dans le dossier racine du stockage.

  • Dossier

    Indiquez le nom de dossier à utiliser.

• Synchroniser avec le catalogue ouvert de Snowflake

  Activez cette option pour permettre au catalogue ouvert de Snowflake de gérer les fichiers dans le stockage de fichiers Cloud.

Paramètres par défaut des tâches de datamart

Base de données par défaut

Vous pouvez utiliser la base de données par défaut du projet ou spécifier une autre base de données.

Catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme de jeu de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Paramètres par défaut du temps d'exécution

Vous pouvez définir les paramètres de performance du temps d'exécution par défaut des ressources de données incluses dans le projet.

Paramètres par défaut du dépôt temporaire

• Vous pouvez définir le nombre maximal de connexions de base de données dans Exécution parallèle.

Paramètres par défaut du stockage

• Vous pouvez définir les paramètres de planification par défaut sur une planification à intervalle défini. Il s'agira de la valeur par défaut de chaque tâche de stockage créée.

• Vous pouvez définir l'entrepôt de données par défaut si la plateforme de projet est Snowflake.

Paramètres par défaut des transformations

• Vous pouvez définir les paramètres de planification par défaut sur une planification à intervalle défini ou qui se déclenche À la fin de toute tâche de données d'entrée. Il s'agira de la valeur par défaut de chaque tâche de transformation créée.

• Vous pouvez définir l'entrepôt de données par défaut si la plateforme de projet est Snowflake.

Paramètres par défaut des datamarts

• Vous pouvez définir les paramètres de planification par défaut sur une planification à intervalle défini ou qui se déclenche À la fin de toute tâche de données d'entrée. Il s'agira de la valeur par défaut de chaque tâche de datamart créée.

• Vous pouvez définir l'entrepôt de données par défaut si la plateforme de projet est Snowflake.

Paramètres Miroir par défaut

• Vous pouvez définir l'entrepôt de données par défaut si la plateforme de projet est Snowflake.

Paramètres des projets de pipeline de données Qlik Open Lakehouse

Plateforme de données

Vous pouvez modifier les paramètres suivants :

• Connexion de catalogue de données : Sélectionnez une connexion existante ou cliquez sur Créer pour ajouter une nouvelle connexion de catalogue de données. Vous pouvez également modifier une connexion existante et vérifier que la connexion fonctionne en cliquant sur Tester la connexion.

• Connexion de la cible du dépôt temporaire : sélectionnez le compartiment S3 pour le dépôt temporaire des données ou cliquez sur Créer pour ajouter un nouvel emplacement de compartiment. Vous pouvez également modifier une connexion existante et vérifier que la connexion fonctionne en cliquant sur Tester la connexion.

Métadonnées

Vous pouvez définir un suffixe pour des artefacts internes et des suffixes par défaut pour les vues que vous créez.

• Préférences en matière d'artefacts

  • Préfixe pour tous les schémas m Préfixe à ajouter aux schémas de données créés dans le projet. Cela s'avère utile lorsqu'un projet importé figure dans le même entrepôt de données cloud qu'un projet exporté.

  • Suffixe pour schéma interne : suffixe à utiliser pour les schémas employés pour stocker des artefacts internes.

  • Casse par défaut du nom du schéma : casse par défaut de tous les noms de schéma. Si votre base de données est configurée de sorte à forcer la mise en majuscules, cette option n'aura pas d'effet.

• Suffixes pour les vues externes

  Définissez les suffixes par défaut pour les vues créées dans les tâches de données incluses dans le projet.

• Hachage

  Vous pouvez définir une chaîne de salage de hachage à utiliser lors du hachage d'une colonne, par exemple pour masquer des informations sensibles. Cela générera un hachage SHA-256 de la colonne d'entrée après l'avoir concaténée avec la chaîne de salage de hachage.

  Vous pouvez soit utiliser l'ID de projet comme chaîne de salage, soit définir une chaîne de salage personnalisée.

Paramètres par défaut pour les nouvelles tâches

Vous pouvez définir des valeurs par défaut pour les tâches de données créées dans le projet. Lorsque vous créez une tâche de données, vous pouvez modifier la valeur.

Vous pouvez définir la base de données par défaut afin de créer des artefacts cibles pour tous les types de tâches de données.

Paramètres par défaut des tâches de dépôt temporaire dans un lac

Dossier à utiliser

Sélectionnez une des options suivantes, suivant le dossier de compartiment dans lequel vous souhaitez écrire les fichiers :

• Dossier par défaut

  Le format de dossier par défaut est <votre-nom-de-projet>/<votre-nom-de-tâche>.

• Dossier racine

  Les fichiers seront écrits dans le dossier de compartiment racine.

• Dossier

  Spécifiez un nom de dossier. Le dossier sera créé lors de la tâche de données, s'il n'existe pas encore.

  Note Informations Le nom de dossier ne peut pas contenir de caractères spéciaux (par exemple, @, #, !, etc.).

Paramètres par défaut des tâches de stockage

• Data store historique (Type 2)

  Vous pouvez conserver les données historiques de changement pour faciliter la recréation des données à l'identique à un instant précis. Les vues Historique et Historique en direct vous permettent de consulter les données historiques.

Catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme de jeu de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Dossier à utiliser dans la zone intermédiaire

Sélectionnez une des options suivantes, suivant le dossier de compartiment dans lequel vous souhaitez écrire les fichiers :

• Dossier par défaut

  Le format de dossier par défaut est <votre-nom-de-projet>/<votre-nom-de-tâche>.

• Dossier racine

  Les fichiers seront écrits dans le dossier de compartiment racine.

• Dossier

  Spécifiez un nom de dossier. Le dossier sera créé lors de la tâche de données, s'il n'existe pas encore.

  Note Informations Le nom de dossier ne peut pas contenir de caractères spéciaux (par exemple, @, #, !, etc.).

Paramètres par défaut des tâches de dépôt temporaire de flux

Vous pouvez définir des valeurs par défaut pour les tâches de dépôt temporaire de flux créées dans le projet.

Dossier à utiliser

Sélectionnez une des options suivantes, suivant le dossier de compartiment dans lequel vous souhaitez écrire les fichiers :

• Dossier par défaut

  Le format de dossier par défaut est <votre-nom-de-projet>/<votre-nom-de-tâche>.

• Dossier racine

  Les fichiers seront écrits dans le dossier de compartiment racine.

• Dossier

  Spécifiez un nom de dossier. Le dossier sera créé lors de la tâche de données, s'il n'existe pas encore.

  Note Informations Le nom de dossier ne peut pas contenir de caractères spéciaux (par exemple, @, #, !, etc.).

Rétention des dossiers

Sélectionnez la durée de conservation des données :

• Les données et métadonnées ne sont pas supprimées.

  Ni les données, ni les métadonnées ne sont supprimées.

• Supprimer les données et métadonnées après la période de rétention

  Les données et métadonnées sont supprimées après l'expiration de la période de rétention.

• Supprimer les métadonnées après la période de rétention. Les données sont supprimées par un système externe.

  Les métadonnées sont purgées après l'expiration de cette période. Les données sous-jacentes, par exemple, l'objet S3, ne sont pas supprimées par Qlik, mais par un système externe.

Paramètres par défaut des tâches de transformation de flux

Vous pouvez définir des valeurs par défaut pour les tâches de transformation de flux créées dans le projet.

Catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme de jeu de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Dossier à utiliser

Sélectionnez une des options suivantes, suivant le dossier de compartiment dans lequel vous souhaitez écrire les fichiers :

• Dossier par défaut

  Le format de dossier par défaut est <votre-nom-de-projet>/<votre-nom-de-tâche>.

• Dossier racine

  Les fichiers seront écrits dans le dossier de compartiment racine.

• Dossier

  Spécifiez un nom de dossier. Le dossier sera créé lors de la tâche de données, s'il n'existe pas encore.

  Note Informations Le nom de dossier ne peut pas contenir de caractères spéciaux (par exemple, @, #, !, etc.).

Définitions de tables

Configurez les colonnes d'en-tête de vue standard qui apparaissent par défaut dans les vues standards de toutes les tâches de transformation de flux de ce projet.

• hdr__from_timestamp

  Lorsque cette option est activée, la colonne d'en-tête hdr__from_timestamp apparaît dans les vues standards. De plus, lorsque Partition par date d'ingestion des événements est sélectionné dans l'assistant d'intégration, hdr__from_timestamp est utilisé comme colonne de partition par défaut. Vous pouvez remplacer ce paramètre au niveau de la tâche ou du jeu de données.

  Note InformationsLes vues Historique incluent toujours toutes les colonnes d'en-tête des vues standards, quel que soit ce paramètre.

Temps d'exécution

Vous pouvez définir les paramètres de performance du temps d'exécution par défaut des tâches de données incluses dans le projet.

Paramètres par défaut des tâches de dépôt temporaire dans un lac

• Vous pouvez définir le nombre maximal de connexions de base de données dans Exécution parallèle.

Paramètres par défaut des tâches de stockage

Cluster du lakehouse

Vous avez la possibilité de sélectionner un Cluster du lakehouse dédié aux tâches de stockage.

Paramètres par défaut des tâches de dépôt temporaire de flux

Nombre de lecteurs

Sélectionnez le nombre de lecteurs à utiliser. La valeur doit être comprise entre 1 et 1 000.

Cluster du lakehouse

Vous avez la possibilité de sélectionner un Cluster du lakehouse dédié aux tâches de stockage.

Paramètres par défaut des tâches de transformation de flux

Cluster du lakehouse

Vous avez la possibilité de sélectionner un Cluster du lakehouse dédié aux tâches de stockage.

Paramètres Miroir par défaut

• Vous pouvez définir l'entrepôt de données par défaut si la plateforme de projet est Snowflake.