Intégration de données depuis Qlik Replicate
Vous pouvez tirer parti de toutes les fonctionnalités de Qlik Open Lakehouse sans abandonner votre infrastructure Replicate existante. Utilisez l'assistant d'intégration de données pour créer un pipeline qui traite les données provenant de la sortie Qlik Replicate Amazon S3 et les stocke sous forme de tables Iceberg à l'aide de Qlik Open Lakehouse.
Conditions préalables requises
Avant de lancer l'assistant d'intégration de données, assurez-vous d'avoir rempli les conditions préalables requises suivantes.
Conditions préalables requises de Qlik Replicate
Configurez une tâche Qlik Replicate pour déplacer des données vers un compartiment Amazon S3 (via le point de terminaison cible Amazon S3).
Conditions préalables requises des tâches Qlik Replicate
-
Activez uniquement les options de réplication Chargement complet et/ou Stocker les modifications (requises pour maintenir les données à jour).
-
Dans l'onglet Paramètres de stockage des modifications des paramètres de la tâche :
-
Configurez les Paramètres de la table de modifications comme suit :
-
Suffixe : __ct
-
Préfixe de colonne d'en-tête : header__
-
Options DDL : Appliquer à la table de modifications
-
Lors de la MISE À JOUR : Stocker uniquement l'image postérieure
-
-
Laissez Partitionnement des données de modification désactivé (par défaut).
-
-
Dans l'onglet Métadonnées > Tables de contrôle des paramètres de la tâche, assurez-vous que les tables de contrôle Appliquer les exceptions et Historique DDL sont sélectionnées.
Pour plus d'informations sur ces paramètres, consultez l'Aide sur les paramètres des tâches Qlik Replicate (uniquement en anglais).
Conditions préalables requises des points de terminaison cibles Qlik Replicate Amazon S3
Dans l'onglet Général :
- Dans la section Fichiers de métadonnées, activez l'option Créer des fichiers de métadonnées dans le dossier cible (Replicate November 2025 ou une version antérieure) ou Créer un fichier de métadonnées pour chaque fichier de données (Replicate May 2026 ou une version ultérieure). Cela créera des fichiers avec une extension .dfm dans le compartiment S3.
- Dans la section Attributs de fichier, assurez-vous des points suivants :
- CSV est le Format sélectionné (par défaut).
- Compresser les fichiers via est défini sur Aucun (par défaut).
- Les deux options Ajouter un en-tête de métadonnées sont activées (Avec des noms de colonne et Avec des types de données)
- Lors de la configuration des paramètres de stockage Amazon S3, si votre compartiment contient des fichiers qui ne sont pas de type Replicate, il est recommandé de spécifier un Dossier cible. Cela facilitera la localisation de la sortie requise lors de l'intégration des données avec Qlik Open Lakehouse.
Pour plus d'informations sur ces paramètres, consultez l'Aide sur les points de terminaison cibles Amazon S3 (uniquement en anglais).
Conditions préalables requises de Qlik Open Lakehouse
Un connecteur AWS S3 Data Stream configuré pour accéder à la sortie Replicate Amazon S3.
Pour des instructions, consultez Flux de données AWS S3.
Comment Replicate organise les données dans S3
Le fait de connaître la structure que Qlik Replicate utilise pour organiser les données dans S3 facilitera la localisation de ces fichiers dans la Navigation dans les répertoires, décrite dans Créer une tâche d'intégration ci-dessous.
-
s3://bucket-name/target-path/schema.table/
Contient des fichiers Chargement complet et des fichiers de métadonnées DFM au format séquentiel, comme dans l'exemple suivant :
-
LOAD00000001.csv
-
LOAD00000001.dfm
-
LOAD00000002.csv
-
LOAD00000002.dfm
-
-
s3://bucket-name/target-path/schema.table__ct/
Contient des fichiers Change Data Capture et des fichiers de métadonnées DFM au format d'horodatage, comme dans l'exemple suivant :
-
20250121-083015000.csv
-
20250121-083015000.dfm
-
20250121-091522000.csv
-
20250121-091522000.dfm
-
Créer une tâche d'intégration
Suivez ces étapes pour configurer une tâche d'intégration pour les données Replicate :
-
Lancez l'assistant d'intégration comme suit :
-
Nouveau projet :Cliquez sur Intégrer les données au milieu de la fenêtre du projet.
-
Projet existant : Dans le coin supérieur droit de votre projet Qlik Open Lakehouse, cliquez sur Créer > Intégrer les données pour lancer l'assistant d'intégration.
-
- Saisissez un nom de tâche et une description.
- Sélectionnez Qlik Replicate parmi les options Origine des données. Cliquez ensuite sur Suivant.
- Sélectionnez le connecteur AWS S3 Data Stream que vous avez précédemment configuré. Cliquez ensuite sur Suivant.
-
Dans le volet Navigation dans les répertoires à gauche, sélectionnez le répertoire racine contenant la sortie Replicate.
Note ConseilSi vous n'avez pas spécifié de dossier cible dans les paramètres des points de terminaison cibles Replicate Amazon S3 (comme recommandé dans les conditions préalables requises ci-dessus), il se peut que votre compartiment contienne de nombreux fichiers sans rapport. Dans ce cas, si vous connaissez le chemin d'accès exact, vous pouvez le coller directement dans le champ Chemin d'accès au répertoire racine. - Cliquez sur Charger pour détecter les tables disponibles. Toutes les tables disponibles seront affichées dans la liste Tables sélectionnées à enregistrer.
- Dans la zone Sélectionner la source de données pour découvrir les tables à droite, les paramètres suivants sont disponibles :
- Inclure toutes les tables actuelles : activez cette option pour déposer temporairement toutes les tables existantes. Lorsque cette option est désactivée, vous devez sélectionner les tables individuellement.
Supprimer les fichiers sources après l'ingestion : activez cette option pour supprimer définitivement les fichiers du compartiment Replicate S3 une fois qu'ils ont été correctement traités.
Une fois les fichiers S3 supprimés, tous les pipelines connectés qui utilisent les mêmes fichiers S3 comme source deviendront inactifs et ils ne pourront plus fonctionner. Par conséquent, vous ne devez activer cette option que si vous êtes certain.e que les fichiers ne sont requis par aucun autre processus de pipeline.
- Cliquez sur Suivant.
- À l'étape Type de contenu, le format de fichier (CSV) est automatiquement détecté à partir de vos données Replicate. Les options suivantes sont également disponibles :
- Data store historique (Type 2) : activez cette option si vous devez conserver des versions historiques des enregistrements et archiver les modifications.
- Vérifiez que les événements sont bien chargés : vous pouvez sélectionner un jeu de données pour vérifier qu'il contient les données correctes.
- Cliquez sur Suivant.
- Examinez la configuration de la tâche et cliquez sur Créer pour créer la tâche d'intégration.
-
Cliquez sur Préparer pour cataloguer la tâche de données et la préparer pour l'exécution.
Vous pouvez suivre la progression de la préparation dans la mosaïque de la tâche. Une fois la préparation terminée, Préparer : Réussite doit s'afficher.
-
Lorsque vous êtes prêt.e à démarrer l'intégration de données, cliquez sur Exécuter.
Que se passe-t-il ensuite
Une fois activée, la tâche d'intégration :
- Commence à surveiller votre compartiment S3 Replicate pour détecter les modifications des données
- Détecte les fichiers Chargement complet et CDC (Change Data Capture) de Replicate
- Traite les fichiers et crée des tables Iceberg dans Qlik Open Lakehouse
- Continue de surveiller les nouvelles données
- Si cette option est activée, supprime automatiquement les fichiers sources une fois l'ingestion correctement effectuée
Paramètres de la tâche
Pour modifier les paramètres de la tâche, ouvrez la tâche Onboarding_Qlik_Replicate (nom par défaut) et cliquez sur le bouton Paramètres de la barre d'outils.
La boîte de dialogue Paramètres : <nom-de-tâche> s'ouvre.
Onglet Général
Ces options sont décrites à l'étape 7 de Créer une tâche de dépôt temporaire ci-dessus.
-
Inclure automatiquement toutes les tables actuelles et futures
-
Supprimer les fichiers sources après l'ingestion
Onglet Délai d'exécution :
Modifier le Cluster du lakehouse
Considérations et limitations
Considérations générales et limitations
- Les opérations Chargement complet et Charger peuvent connaître un certain délai de traitement avant que les données n'apparaissent dans les tables Iceberg. Le système attend jusqu'à 15 minutes après la fin de Chargement complet pour s'assurer que les fichiers sont complets. Par conséquent, l'exécution de chargements complets dans Replicate (planifiés ou manuels) à moins de 15 minutes d'intervalle n'est pas supportée.
- Les tables Replicate vides (tables sans fichiers de données) ne sont pas détectées ni enregistrées par le système.
- Si vous activez Supprimer les fichiers sources après l'ingestion, la tâche de dépôt temporaire ne peut pas être actualisée. Pour actualiser les données, vous devez les régénérer dans Replicate.
- Les tables de Qlik Replicate sont déjà chargées. L'option d'Exécution avancée Démarrer le traitement des modifications à partir de (uniquement en anglais) n'est pas supportée. Lorsque Type 2 (données historiques) est activé, l'utilisation de cette option corrompra la table d'historique.
- L'évolution du schéma n'est pas supportée
Pipeline CDC ou Replicate
Dans un pipeline standard effectuant une ingestion depuis des sources CDC, la métrique Les données sont mises à jour au indique toujours l'actualisation la plus récente des données (par exemple, il y a 1 minute). Cela s'explique par le fait que le pipeline a un accès direct au journal des transactions de la base de données, ce qui permet de connaître en temps réel chaque événement INSERT/UPDATE/DELETE. Toutefois, dans un pipeline qui ingère des données provenant de Replicate, la métrique Les données sont mises à jour au n'indique pas l'actualisation la plus récente des données et peut par conséquent donner la fausse impression que les données sont obsolètes (par exemple, il y a 8 heures). Cela s'explique par le fait que le pipeline Replicate n'a pas d'accès direct au journal des transactions. Au lieu de cela, Replicate écrit des fichiers dans un compartiment S3 et le pipeline vérifie l'horodatage de création du fichier pour déterminer l'actualisation des données. Ainsi, s'il n'y a pas eu de nouvelles modifications dans la base de données source pendant un certain temps, Replicate ne créera pas de nouveau fichier et l'horodatage Les données sont mises à jour au vieillira (donnant l'impression erronée que les données sont obsolètes).