Stockage de jeux de données de flux

Les paramètres de tâche de transformation de flux suivants s'appliquent aux projets Qlik Open Lakehouse qui utilisent une source de flux.

Vous pouvez stocker et transformer les données de flux à l'aide de la tâche de données de transformation de flux. Les données de flux contiennent souvent des structures et des séquences imbriquées qui nécessitent un aplatissement, et il est nécessaire d'avoir recours à des fonctionnalités de transformation lors de la phase de stockage. Ces fonctionnalités sont disponibles pour la tâche de transformation de flux, vous permettant d'appliquer des transformations immédiatement après le dépôt temporaire de vos données de flux.

Paramètres de stockage

Vous pouvez définir les propriétés de la tâche de données de transformation de flux lorsque la plateforme de données est Qlik Open Lakehouse.

• Cliquez sur Paramètres.

Paramètres généraux

• Schéma de tâche

  Vous pouvez modifier le nom du schéma de la tâche de transformation de flux. Le nom par défaut correspond au nom de la tâche de stockage.

• Schéma interne

  Vous pouvez modifier le nom du schéma de ressource de données de stockage interne. Le nom par défaut correspond au nom de la tâche de stockage auquel _internal est ajouté.

• Préfixe de l'ensemble des tables et des vues

  Vous pouvez définir un préfixe pour toutes les tables et vues créées avec cette tâche.

  Note InformationsLorsque vous souhaitez utiliser un schéma de base de données dans plusieurs tâches de données, vous devez utiliser un préfixe unique.

• Dossier à utiliser

  Vous pouvez modifier le dossier de stockage de la tâche de transformation de flux.

• Charger les paramètres pour les nouveaux jeux de données

  • Écrire à la suite uniquement

    Ajoute de nouveaux enregistrements sans modifier les données existantes. Si des enregistrements en double arrivent, les contraintes de clé ne sont pas appliquées.

  • Appliquer les modifications (Fusionner)

    Met à jour les enregistrements existants et insère de nouveaux enregistrements en se basant sur les champs de clé.

    Si vous choisissez de fusionner les modifications, vous pouvez également sélectionner les opérations suivantes :

    • Supprimer les enregistrements de manière réversible en fournissant une expression de suppression

      Définissez une expression de suppression pour marquer les enregistrements à supprimer.

    • Conserver les enregistrements historiques (Type 2)

      Conservez les versions précédentes des enregistrements modifiés.

• Désimbrication des colonnes

  • Préserver les colonnes imbriquées

    Sélectionnez cette option pour préserver les données imbriquées.

  • Désimbriquer en colonnes séparées

    Le comportement par défaut consiste à désimbriquer les données dans des colonnes distinctes.

• Partition des tables cibles

  • Aucune partition

    Les nouvelles tables sont créées sans partitions.

  • Partitionner par date d'événement

    Les nouvelles tables sont partitionnées en fonction de l'ingestion des événements de date.

Paramètres d'exécution

• Cluster du lakehouse

  Vous pouvez modifier le cluster du lakehouse, mais celui-ci doit supporter les charges de travail de flux ou les charges de travail mixtes.

Paramètres d'évolution du schéma

• Ajouter des colonnes au niveau racine

  Ce paramètre s'applique lorsque de nouvelles colonnes sont ajoutées à la tâche de dépôt temporaire de flux, au niveau racine.

  • Appliquer à la cible

    Ajoute automatiquement de nouvelles colonnes au niveau racine de la tâche de dépôt temporaire de flux à la tâche de transformation de flux. Il s'agit du paramètre par défaut.

  • Ignorer

    N'ajoute pas de nouvelles colonnes au niveau racine.

  • Arrêter la tâche

    Arrête la tâche de transformation si une nouvelle colonne au niveau racine est détectée dans la tâche de dépôt temporaire de flux.

• Ajouter des colonnes aux structures

  Ce paramètre s'applique lorsque de nouveaux champs sont ajoutés dans une structure imbriquée existante dans la tâche de dépôt temporaire de flux.

  • Appliquer à la cible

    Ajoute automatiquement de nouveaux champs aux structures existantes dans la tâche de transformation de flux s'ils sont ajoutés à la structure de dépôt temporaire.

  • Ignorer

    N'ajoute pas de nouveaux champs aux structures existantes.

  • Arrêter la tâche

    Arrête la tâche de transformation si un nouveau champ est ajouté à une structure dans la tâche de dépôt temporaire de flux.

• Modifier le type de données du champ

  • Ignorer

    Ne modifie pas le type de données.

  • Arrêter la tâche

    Arrête la tâche de transformation si un changement de type de données est détecté dans la tâche de dépôt temporaire de flux.