Étape 4 : créer un projet Qlik Open Lakehouse

Créez un projet de pipeline Qlik Open Lakehouse pour ingérer des données à partir de n'importe quelle source. Stockez vos données dans un format de table ouverte Iceberg.

Conditions préalables requises

Pour créer un projet Qlik Open Lakehouse, vous avez besoin des éléments suivants :

• Une intégration réseau pour permettre à Qlik de provisionner et de gérer les ressources de calcul en votre nom.

• Un cluster de lakehouse configuré pour exécuter la tâche de stockage de données dans le cadre de votre projet Iceberg.

• Une connexion à un catalogue de données à utiliser comme cible de données pour votre projet, ou les détails nécessaires pour que vous puissiez créer une nouvelle connexion.

Tâches supportées

Les tâches suivantes sont supportées dans un projet Qlik Open Lakehouse :

• Tâche de données de dépôt temporaire dans un lac

  Déposez temporairement les données au format CSV dans S3, à partir de n'importe quelle source supportée par Qlik, y compris des flux de données haut volume.

• Tâche de données de stockage

  La tâche de données de stockage consomme les données déposées temporairement dans le cloud par une tâche de dépôt temporaire dans un lac. La tâche écrit les données dans des tables Iceberg pour un stockage et des requêtes efficaces.

• Tâche Refléter les données

  Mettez en miroir (Reflétez) les tables Iceberg de votre Qlik Open Lakehouse dans Snowflake. Les utilisateurs peuvent interroger les données via des tables externes sans avoir besoin de migrer les données vers Snowflake.

Exemple de création d'un projet Qlik Open Lakehouse

L'exemple suivant crée un projet de pipeline Qlik Open Lakehouse, intègre des données et les stocke dans des tables au format Iceberg. Cet exemple crée un pipeline simple que vous pouvez développer en intégrant davantage de sources de données. Vous pouvez ajouter une tâche Refléter les données pour mettre vos tables en miroir dans Snowflake sans dupliquer les données, ou vous pouvez utiliser ce projet comme source d'un projet qui nécessite des transformations dans Snowflake.

Pour créer un projet Qlik Open Lakehouse, procédez comme suit :

1. Sur la page d'accueil Intégration de données, cliquez sur Créer un pipeline et configurez-le :

• Nom : saisissez le nom du projet.

• Espace : sélectionnez l'espace auquel le projet appartiendra.

• Description : éventuellement, saisissez une description pour le projet.

2. Pour Cas d'utilisation, sélectionnez Pipeline de données.

3. Configurez la Plateforme de données :

• Plateforme de données : sélectionnez Qlik Open Lakehouse dans la liste.

• Connexion de catalogue de données : dans la liste, sélectionnez une connexion existante ou cliquez sur Créer pour ajouter une nouvelle connexion de catalogue de données.

• Connexion de la cible du dépôt temporaire : sélectionnez le compartiment S3 pour le dépôt temporaire des données ou cliquez sur Créer pour ajouter un nouvel emplacement de compartiment.

• Cluster stockage et calcul : sélectionnez le cluster de lakehouse qui exécutera la tâche de stockage.

4. Créez le projet.

5. Suivez les étapes de l'assistant d'intégration de données. Pour plus d'informations, consultez Intégration de données.