Acquisizione dati da Qlik Replicate
Puoi sfruttare tutte le funzionalità di Qlik Open Lakehouse senza abbandonare la tua infrastruttura Replicate esistente. Utilizzare la procedura guidata di onboarding dei dati per creare una pipeline che elabora i dati dall'output Amazon S3 di Qlik Replicate e li memorizza come tabelle Iceberg utilizzando Qlik Open Lakehouse.
Prerequisiti
Prima di avviare la procedura guidata per l'onboarding dei dati, assicurarsi di aver soddisfatto i seguenti prerequisiti.
Qlik Replicate prerequisiti
Configurare un'attività di Qlik Replicate per spostare i dati in un bucket Amazon S3 (tramite l'endpoint di destinazione Amazon S3).
Prerequisiti dell'attività di Qlik Replicate
-
Abilita solo le opzioni di replica Caricamento completo e/o Memorizza modifiche (necessarie per mantenere i dati aggiornati).
-
Nella scheda Store Changes Settings (Archivia impostazioni modifiche) delle impostazioni dell'attività:
-
Configurare le Modifica impostazioni tabella come segue:
-
Suffisso: __ct
-
Prefisso colonna intestazione: header__
-
Opzioni DDL: Applica a tabella di modifica
-
All'UPDATE: Archivia solo dopo immagine
-
-
Lasciare Cambia partizione dati disabilitato (impostazione predefinita).
-
-
Nella scheda Metadati > Tabelle di controllo delle impostazioni dell'attività, assicurarsi che le tabelle di controllo Applica eccezioni e Cronologia DDL siano selezionate.
Per maggiori informazioni su queste impostazioni, consultare la Guida alle impostazioni delle attività di Qlik Replicate (solo in lingua inglese).
Prerequisiti per l'endpoint di destinazione Amazon S3 di Qlik Replicate
Nella scheda Generali:
- Nella sezione File di metadati, abilitare l'opzione Crea file di metadati nella cartella di destinazione (Replicate novembre 2025 o precedente) o l'opzione Crea un file di metadati per ogni file di dati (Replicate maggio 2026 o successivo). Questo creerà file con un' .dfm estensione nel bucket S3.
- Nella sezione Attributi file, assicurarsi che:
- CSV è il Formato selezionato (il predefinito)
- Comprimi i file usando è impostato su Nessuno (l'impostazione predefinita)
- Entrambe le opzioni Aggiungi intestazione metadati sono abilitate (Con nomi colonna e Con tipi di dati)
- Quando si configurano le impostazioni di archiviazione di Amazon S3, se il tuo bucket contiene file non-Replicate, si consiglia di specificare una Cartella di destinazione. In questo modo sarà più facile individuare l'output richiesto durante l'onboarding dei dati con Qlik Open Lakehouse.
Per maggiori informazioni su queste impostazioni, fare riferimento alla guida dell'endpoint di destinazione Amazon S3 (solo in lingua inglese).
Qlik Open Lakehouse prerequisiti
Un connettore flusso di dati AWS S3 configurato per accedere all'output Replicate di Amazon S3.
Per le istruzioni, vedere Flusso di dati AWS S3.
Come Replicate organizza i dati in S3
La conoscenza della struttura che Qlik Replicate utilizza per organizzare i dati in S3 renderà più facile individuare tali file nel browser delle directory, descritto in Creare un'attività di onboarding di seguito.
-
s3://bucket-name/target-path/schema.table/
Contiene file di carico completi e file di metadati DFM in formato sequenziale, come nel seguente esempio:
-
LOAD00000001.csv
-
LOAD00000001.dfm
-
LOAD00000002.csv
-
LOAD00000002.dfm
-
-
s3://bucket-name/target-path/schema.table__ct/
Contiene file di Change Data Capture e file di metadati DFM in formato timestamp, come nell'esempio seguente:
-
20250121-083015000.csv
-
20250121-083015000.dfm
-
20250121-091522000.csv
-
20250121-091522000.dfm
-
Crea un'attività di onboarding
Seguire questi passaggi per configurare un'attività di onboarding per i dati Replicate:
-
Avviare la procedura guidata di onboarding come segue:
-
Nuovo progetto: Fare clic su Inserisci dati al centro della finestra del progetto.
-
Progetto esistente: Nell'angolo in alto a destra del tuo Qlik Open Lakehouse progetto, fare clic su Crea nuovo > Inserisci dati per avviare la procedura guidata di inserimento dati.
-
- Immettere un nome attività e una descrizione.
- Selezionare Qlik Replicate dalle opzioni Origine dati. Quindi fare clic su Next (Avanti).
- Selezionare il connettore AWS S3 Data Stream configurato in precedenza. Quindi fare clic su Next (Avanti).
-
Nel riquadro Esplora directory a sinistra, selezionare la directory principale che contiene l'output di Replicate.
Nota di suggerimentoSe non hai specificato una cartella di destinazione nelle impostazioni dell'endpoint di destinazione Replicate Amazon S3 (come consigliato nei prerequisiti sopra), il tuo bucket potrebbe contenere molti file non correlati. In questo caso, se si conosce il percorso esatto, è possibile incollarlo direttamente nel campo percorso della directory radice di Replicate. - Fare clic su Carica per rilevare le tabelle disponibili. Eventuali tabelle disponibili verranno mostrate nell'elenco Tabelle selezionate da registrare.
- Nella regione Seleziona sorgente dati per rilevare tabelle a destra, sono disponibili le seguenti impostazioni:
- Includi tutte le tabelle correnti: Attiva per trasferire tutte le tabelle esistenti. Quando questa opzione è disattivata, è necessario selezionare le singole tabelle.
Elimina i file di origine dopo l'ingestione: Attiva per rimuovere definitivamente i file dal bucket S3 di Replicate dopo che sono stati elaborati correttamente.
Una volta eliminati i file S3, tutte le pipeline connesse che utilizzano gli stessi file S3 come origine diventeranno inattive e non saranno in grado di funzionare. Dovresti quindi abilitare questa opzione solo se sei certo che i file non sono richiesti da nessun altro processo della pipeline.
- Fare clic su Avanti.
- Nel passaggio Tipo di contenuto, il formato del file (CSV) viene rilevato automaticamente dai dati di Replicate. Sono disponibili anche le seguenti opzioni:
- Archivio dati storico (Tipo 2): Attiva se è necessario mantenere le versioni storiche dei record e conservare un archivio delle modifiche.
- Verificare che gli eventi siano stati caricati correttamente: È possibile selezionare un set di dati per verificare che contenga i dati corretti.
- Fare clic su Avanti.
- Rivedere la configurazione dell'attività e fare clic su Crea per creare l'attività di onboarding.
-
Fare clic su Prepara per catalogare l'attività di dati e prepararla per l'esecuzione.
È possibile monitorare l'avanzamento della preparazione nel riquadro dell'attività. Al completamento, Preparazione: Successo dovrebbe essere visualizzato.
-
Quando si è pronti per avviare l'acquisizione dei dati, fare clic su Esegui.
Cosa succede dopo
Una volta attivata, l'attività di onboarding:
- Inizia a monitorare il tuo bucket S3 Replicate per le modifiche ai dati
- Rileva file di caricamento completo e CDC (Modifica aquisizione dati) da Replicate
- Elabora i file e crea tabelle Iceberg in Qlik Open Lakehouse
- Continua a monitorare nuovi dati
- Se abilitato, elimina automaticamente i file sorgente dopo l'ingestione riuscita
Impostazioni attività
Per modificare le impostazioni dell'attività, aprire l'attività Onboarding_Qlik_Replicate (nome predefinito) e fare clic sul pulsante Impostazioni della barra degli strumenti.
Viene visualizzata la finestra di dialogo Impostazioni: <task name>.
Scheda Info generali
Queste opzioni sono descritte al passaggio 7 di Creare un'attività di trasferimento sopra.
-
Includi automaticamente tutte le tabelle attuali e future
-
Elimina i file sorgente dopo l'ingestione
Scheda Tempo di esecuzione
Modifica il Cluster lakehouse
Limiti e considerazioni
Considerazioni e limitazioni generali
- Le operazioni di caricamento completo e ricaricamento potrebbero subire un ritardo di elaborazione prima che i dati appaiano nelle tabelle Iceberg. Il sistema attende fino a 15 minuti dopo il completamento del Caricamento completo per assicurarsi che i file siano completi. Di conseguenza, l'esecuzione di caricamenti completi in Replicate (programmati o manuali) a meno di 15 minuti di distanza non è supportata.
- Le tabelle Replicate vuote (tabelle senza file di dati) non vengono rilevate o registrate dal sistema.
- Se si abilita Delete the source files following ingestion, il task di trasferimento non può essere ricaricato. Per ricaricare i dati, è necessario rigenerarlo in Replicate.
- Le tabelle di Qlik Replicate sono già state caricate. (solo in lingua inglese)L'opzione di esecuzione avanzata `Avvia elaborazione modifiche da (solo in lingua inglese)` non è supportata. Quando il Tipo 2 (dati storici) è abilitato, l'utilizzo di questa opzione danneggerà la tabella della cronologia.
- L'evoluzione dello schema non è supportata
CDC vs Replicate pipeline
In una pipeline regolare che acquisisce dati da sorgenti CDC, la metrica Dati aggiornati a indica sempre l'attualità corrente dei dati (ad esempio, 1 minuto fa). Questo perché la pipeline ha accesso diretto al registro delle transazioni del database, che fornisce conoscenza in tempo reale di ogni evento INSERT/UPDATE/DELETE. Tuttavia, in una pipeline che acquisisce dati da Replicate, la metrica I dati sono aggiornati a non indica l'attuale attualità dei dati e potrebbe dare la falsa impressione che i dati siano obsoleti (ad esempio, 8 ore fa). Questo perché la Replicate pipeline non ha accesso diretto al log delle transazioni. Invece, Replicate scrive i file in un bucket S3, e la pipeline controlla il timestamp di creazione del file per determinare l'attualità dei dati. Quindi, se non ci sono state nuove modifiche nel database di origine per un po', Replicate non creerà un nuovo file e il I dati sono aggiornati a timestamp diventerà vecchio (dando l'impressione errata che i dati siano obsoleti).