Introduktion av data från Qlik Replicate
Du kan dra nytta av den fulla funktionaliteten hos Qlik Open Lakehouse utan att överge din befintliga Replicate infrastruktur. Använd guiden för dataintroduktion för att skapa en pipeline som bearbetar data från Qlik Replicate Amazon S3-utdata och lagrar dem som Iceberg-tabeller med hjälp av Qlik Open Lakehouse.
Förutsättningar
Innan du startar guiden för introduktion av data, se till att du har uppfyllt följande förutsättningar.
Qlik Replicate-förutsättningar
Konfigurera en Qlik Replicate-uppgift för att flytta data till en Amazon S3-bucket (via Amazon S3-målslutpunkten).
Qlik Replicate-uppgiftsförutsättningar
-
Aktivera endast replikeringsalternativen Fullständig laddning och/eller Lagra ändringar (krävs för att hålla data uppdaterad).
-
I uppgiftsinställningarnas Inställningar för lagring av ändringar (Store Changes Settings)-flik:
-
Konfigurera Ändra tabellinställningar enligt följande:
-
Suffix: __ct
-
Prefix för rubrikkolumner: header__
-
DDL-alternativ: Tillämpa på ändringstabell
-
Vid UPPDATERING: Lagra endast efterbild
-
-
Lämna Change Data Partitioning (Partitionering av ändrade data) inaktiverad (standardinställningen).
-
-
I uppgiftsinställningarnas flik Metadata > Kontrolltabeller ska du se till att kontrolltabellerna Tillämpa undantag och DDL-historik är valda.
Mer information om dessa inställningar finns i Qlik Replicate hjälpen för inställningar för uppgifter (endast på engelska).
Qlik Replicate Amazon S3 målslutpunktsförutsättningar
På fliken Allmänt :
- I Metadatafiler-delavsnittet aktiverar du Skapa metadatafiler i målmappen (Replicate november 2025 eller tidigare) eller Skapa en metadatafil för varje datafil-alternativet (Replicate maj 2026 eller senare). Detta kommer att skapa filer med ett .dfm komplement i S3-bucket.
- I Filattribut-delavsnittet, se till att:
- CSV är det valda Format (standard)
- Komprimera filer med är inställt på Ingen (standard)
- Båda alternativen för Lägg till metadatahuvud är aktiverade (Med kolumnnamn och Med datatyper)
- När du konfigurerar lagringsinställningarna för Amazon S3, om din bucket innehåller filer som inte är Replicate-filer, rekommenderas det att ange en Målmapp. På så sätt blir det lättare att hitta den nödvändiga utdata när du integrerar data med Qlik Open Lakehouse.
För mer information om dessa inställningar, se Amazon S3-målslutpunktshjälpen (endast på engelska).
Qlik Open LakehouseFörutsättningar
En AWS S3 Data Stream koppling konfigurerad för att komma åt Replicate Amazon S3-utdata.
Instruktioner finns i AWS S3 Dataström.
Hur Replicate organiserar data i S3
En förtrogenhet med strukturen som Qlik Replicate använder för att organisera data i S3 kommer att göra det lättare att hitta dessa filer i Katalogbläddrare, som beskrivs i Skapa en onboarding-uppgift nedan.
-
s3://bucket-name/target-path/schema.table/
Innehåller fullständiga Load-filer och DFM-metadatafiler i sekventiellt format, som i följande exempel:
-
LOAD00000001.csv
-
LOAD00000001.dfm
-
LOAD00000002.csv
-
LOAD00000002.dfm
-
-
s3://bucket-name/target-path/schema.table__ct/
Innehåller Change Data Capture-filer och DFM-metadatafiler i tidsmarkörformat, som i följande exempel:
-
20250121-083015000.csv
-
20250121-083015000.dfm
-
20250121-091522000.csv
-
20250121-091522000.dfm
-
Skapa en introduktionsuppgift
Följ dessa steg för att konfigurera en introduktionsuppgift för Replicate-data:
-
Starta introduktionsguiden så här:
-
Nytt projekt: Klicka på Introducera data mitt i projektfönstret.
-
Befintligt projekt: I det övre högra hörnet av ditt Qlik Open Lakehouse projekt klickar du på Skapa nytt > Introducera data för att starta introduktionsguiden.
-
- Ange ett uppgiftsnamn och en beskrivning.
- Välj Qlik Replicate bland Datakälla-alternativen. Klicka sedan på Nästa.
- Välj den AWS S3 Data Stream-koppling som du konfigurerade tidigare. Klicka sedan på Nästa.
-
I fönstret Katalogbläddrare till vänster väljer du rotkatalogen som innehåller Replicate-utdata.
Anteckning om tipsOm du inte angav en målmapp i inställningarna för Replicate Amazon S3-målslutpunkten (som rekommenderas i förhandskraven ovan), kan din bucket innehålla många orelaterade filer. I det här fallet, om du känner till den exakta sökvägen, kan du klistra in den direkt i Replicate rotkatalogsökväg-fältet. - Klicka Ladda för att identifiera tillgängliga tabeller. Eventuella tillgängliga tabeller visas i listan Valda tabeller att registrera.
- I regionen Välj datakälla för att upptäcka tabeller till höger finns följande inställningar tillgängliga:
- Inkludera alla aktuella tabeller: Aktivera för att mellanlagra alla befintliga tabeller. När det här alternativet är inaktiverat måste du välja enskilda tabeller.
Ta bort källfilerna efter inmatning: Aktivera för att permanent ta bort filer från Replicate S3-bucket efter att de har bearbetats framgångsrikt.
När S3-filerna har tagits bort kommer alla anslutna pipelines som använder samma S3-filer som källa att bli inaktiva och oförmögna att fungera. Du bör därför endast aktivera det här alternativet om du är säker på att filerna inte krävs av någon annan pipeline process.
- Klicka på Nästa.
- På Innehållstyp-steget identifieras filformatet (CSV) automatiskt från dina Replicate-data. Följande alternativ finns också tillgängliga:
- Historiskt datalager (Typ 2): Aktivera om du behöver underhålla historiska versioner av poster och behålla ett arkiv över ändringarna.
- Verifiera att händelserna har lästs in korrekt: Du kan välja en datamängd för att verifiera att den innehåller korrekta data.
- Klicka på Nästa.
- Granska uppgiftskonfigurationen och klicka på Skapa för att skapa onboarding-uppgiften.
-
Klicka på Förbered för att katalogisera dataarbetsuppgiften och förbereda den för körning.
Du kan följa förberedelseförloppet i uppgiftsrutan. Vid slutförande, Förberedelse: Lyckad bör visas.
-
När du är redo att börja mellanlagra data, klicka på Kör.
Vad händer härnäst
När den aktiverats, onboarding-uppgiften:
- Börjar övervaka din Replicate S3-bucket för dataändringar
- Identifierar Fullständig laddning och sammanställning av ändringsdata-filer från Replicate
- Bearbetar filerna och skapar Iceberg-tabeller i Qlik Open Lakehouse
- Fortsätter att övervaka efter nya data
- Om aktiverat, raderar automatiskt källfiler efter lyckad inmatning
Uppgiftsinställningar
För att ändra uppgiftsinställningarna, öppna uppgiften Onboarding_Qlik_Replicate (standardnamn) och klicka på verktygsfältsknappen Inställningar.
Dialogrutan Inställningar: <task name> öppnas.
Fliken Allmänt
Dessa alternativ beskrivs i steg 7 i Skapa en mellanlagringsuppgift ovan.
-
Inkludera automatiskt alla nuvarande och framtida tabeller
-
Ta bort källfilerna efter intagning
Fliken Körning
Ändra Datasjöhuskluster
Beaktanden och begränsningar
Allmänna överväganden och begränsningar
- Åtgärder för fullständig laddning och omladdning kan uppleva en bearbetningsfördröjning innan data visas i Iceberg-tabeller. Systemet väntar upp till 15 minuter efter att Fullständig laddning har slutförts för att säkerställa att filerna är kompletta. Som ett resultat, att köra fullständiga laddningar i Replicate (schemalagda eller manuella) med mindre än 15 minuters mellanrum stöds inte.
- Tomma Replicate tabeller (tabeller utan datafiler) upptäcks eller registreras inte av systemet.
- Om du aktiverar Ta bort källfilerna efter inmatning, kan mellanlagringsuppgiften inte laddas om. För att ladda data måste du återskapa dem i Replicate.
- Qlik Replicates Tabellerna är redan inlästa. (endast på engelska)Avancerat köralternativ Starta bearbetning av ändringar från (endast på engelska) stöds inte. När typ 2 (historiska data) är aktiverat, kommer det här alternativet att skada historiktabellen.
- Schemautveckling stöds inte
CDC kontra Replicate Pipeline
I en vanlig pipeline som matar in från CDC-källor, indikerar måttet Data uppdaterades till alltid den aktuella Senaste aktualiseringen av data (till exempel, 1 minut sedan). Detta beror på att pipeline har direkt åtkomst till databasens transaktionslogg, vilket ger realtidskunskap om varje INSERT/UPDATE/DELETE-händelse. Men i en pipeline som matar in data från Replicate, indikerar mätvärdet Data uppdaterades till inte den aktuella senaste aktualiseringen av data, och kan faktiskt ge det felaktiga intrycket att data är inaktuella (till exempel, för 8 timmar sedan). Detta beror på att Replicate pipeline inte har direkt åtkomst till transaktionsloggen. I stället skriver Replicate filer till en S3-bucket, och pipelinen kontrollerar filens skapande-tidsmarkör för att fastställa Senaste aktualisering av data. Så om det inte fanns några nya ändringar i källdatabasen på ett tag, Replicate kommer inte att skapa en ny fil och Data är uppdaterat till tidsmarkör kommer att bli gammal (vilket ger det felaktiga intrycket att data är inaktuell).