Gegevens inladen vanuit Qlik Replicate
U kunt de volledige functionaliteit van Qlik Open Lakehouse benutten zonder uw bestaande Replicate infrastructuur te verlaten. Gebruik de wizard voor het toevoegen van gegevens om een pijplijn te maken die gegevens verwerkt vanuit de Amazon S3-uitvoer van Qlik Replicate en deze opslaat als Iceberg-tabellen met behulp van Qlik Open Lakehouse.
Vereisten
Voordat u de wizard voor het toevoegen van gegevens start, zorg ervoor dat u aan de volgende vereisten hebt voldaan.
Qlik Replicate vereisten
Stel een Qlik Replicate-taak in om gegevens te verplaatsen naar een Amazon S3-bucket (via het Amazon S3-doeleindpunt).
Qlik Replicate taakvereisten
-
Schakel alleen de Volledige lading en/of Wijzigingen opslaan (vereist om de gegevens up-to-date te houden) replicatie-opties in.
-
Op het tabblad Instellingen voor Opslaan van wijzigingen van de taakinstellingen:
-
Configureer de Tabelinstellingen wijzigen als volgt:
-
Achtervoegsel: __ct
-
Prefix kopkolom: header__
-
DDL-opties: Toepassen op wijzigingstabel
-
Na bijwerken: Alleen nabeeld opslaan
-
-
Laat Gegevenspartitie wijzigen uitgeschakeld (de standaard).
-
-
In de taakinstellingen op het tabblad Metadata > Besturingstabellen moet u controleren dat de besturingstabellen Uitzonderingen toepassen en DDL-geschiedenis zijn geselecteerd.
Voor meer informatie over deze instellingen, raadpleegt u de Help voor Qlik Replicate-taakinstellingen (alleen in het Engels).
Qlik Replicate Amazon S3-doeleindpuntvereisten
Op het tabblad Algemeen :
- In de sectie Metagegevensbestanden schakelt u de optie Metagegevensbestanden maken in de doelmap (Replicate november 2025 of eerder) of Een metagegevensbestand maken voor elk gegevensbestand (Replicate mei 2026 of later) in. Dit zal bestanden aanmaken met een .dfm uitbreiding in de S3-bucket.
- In de Bestandsattributen sectie, controleer of:
- CSV is de geselecteerde Indeling (de standaard)
- Bestanden comprimeren met is ingesteld op Geen (standaardinstelling)
- Beide Metagegevensheader toevoegen-opties zijn ingeschakeld (Met kolomnamen en Met gegevenstypen)
- Bij het configureren van de Amazon S3-opslaginstellingen, als uw bucket niet-Replicate bestanden bevat, wordt het aanbevolen om een Doelmap op te geven. Dit maakt het gemakkelijker om de vereiste uitvoer te vinden bij het onboarden van de gegevens met Qlik Open Lakehouse.
Raadpleeg voor meer informatie over deze instellingen de help voor het Amazon S3-doeleindpunt (alleen in het Engels).
Qlik Open Lakehouse vereisten
Een AWS S3 Gegevensstroom connector geconfigureerd voor toegang tot de Replicate Amazon S3-uitvoer.
Zie voor instructies: AWS S3 Gegevensstroom.
Hoe Replicate gegevens in S3 organiseert
Bekendheid met de structuur die Qlik Replicate gebruikt om gegevens in S3 te organiseren, zal het gemakkelijker maken om die bestanden te vinden in de Mappenbrowser, beschreven in Een onboardingtaak maken hieronder.
-
s3://bucket-name/target-path/schema.table/
Bevat volledige laadbestanden en DFM-metagegevensbestanden in sequentiële indeling, zoals in het volgende voorbeeld:
-
LOAD00000001.csv
-
LOAD00000001.dfm
-
LOAD00000002.csv
-
LOAD00000002.dfm
-
-
s3://bucket-name/target-path/schema.table__ct/
Bevat Change Data Capture-bestanden en DFM-metadatabestanden in tijdstempelindeling, zoals in het volgende voorbeeld:
-
20250121-083015000.csv
-
20250121-083015000.dfm
-
20250121-091522000.csv
-
20250121-091522000.dfm
-
Maak een onboardingtaak
Volg deze stappen om een onboarding-taak voor Replicate-gegevens te configureren:
-
Start de wizard voor het toevoegen van gegevens als volgt:
-
Nieuw project: Klik op Gegevens onboarden midden in het projectvenster.
-
Bestaand project: Rechtsboven in uw Qlik Open Lakehouse project, klik op Nieuw maken > Gegevens onboarden om de onboarding-wizard te starten.
-
- Voer een taaknaam en beschrijving in.
- Selecteer Qlik Replicate uit de Gegevensherkomst-opties. Klik vervolgens op Next (Volgende).
- Selecteer de AWS S3 Data Stream connector die u eerder hebt geconfigureerd. Klik vervolgens op Next (Volgende).
-
In het Mappenbrowser-deelvenster aan de linkerkant, selecteer de hoofdmap die de Replicate-uitvoer bevat.
TipAls u geen doelmap hebt opgegeven in de Replicate Amazon S3-doeleindpuntinstellingen (zoals aanbevolen in de bovenstaande vereisten), kan uw bucket veel niet-gerelateerde bestanden bevatten. In dit geval, als u het exacte pad weet, kunt u het direct plakken in het Replicate pad naar de hoofdmap veld. - Klik op Laden om beschikbare tabellen te detecteren. Eventuele beschikbare tabellen worden weergegeven in de Geselecteerde tabellen om te registreren-lijst.
- In het Selecteer gegevensbron om tabellen te ontdekken gedeelte aan de rechterkant zijn de volgende instellingen beschikbaar:
- Alle huidige tabellen opnemen: Schakel in om alle bestaande tabellen voor tussenopslag te selecteren. Wanneer deze optie is uitgeschakeld, moet u individuele tabellen selecteren.
Verwijder de bronbestanden na opname: Schakel in om bestanden permanent te verwijderen uit de Replicate S3 bucket nadat ze succesvol zijn verwerkt.
Zodra de S3-bestanden zijn verwijderd, worden alle verbonden pipelines die dezelfde S3-bestanden als bron gebruiken inactief en kunnen niet meer functioneren. U moet deze optie daarom alleen inschakelen als u zeker weet dat de bestanden niet vereist zijn door een ander pijplijn proces.
- Klik op Volgende.
- Op de Inhoudstype-stap wordt het bestandsformaat (CSV) automatisch gedetecteerd uit uw Replicate-gegevens. De volgende opties zijn ook beschikbaar:
- Historische gegevensopslag (Type 2): Schakel in als u historische versies van records wilt bijhouden en een archief van de wijzigingen wilt bewaren.
- Controleer of gebeurtenissen correct zijn geladen: U kunt een dataset selecteren om te controleren of deze de juiste gegevens bevat.
- Klik op Volgende.
- Controleer de taakconfiguratie en klik op Maken om de onboardingtaak te maken.
-
Klik op Voorbereiden om de gegevenstaak te catalogiseren en klaar te maken voor uitvoering.
U kunt de voortgang van de voorbereiding volgen in de taaktegel. Na voltooiing moet Voorbereiding: Geslaagd worden weergegeven.
-
Wanneer u klaar bent om te beginnen met het onboarden van gegevens, klikt u op Uitvoeren.
Wat gebeurt er hierna
Eenmaal geactiveerd, de onboardingtaak:
- Start met het monitoren van uw Replicate S3 bucket op gegevenswijzigingen
- Detecteert Volledige lading en het vastleggen van wijzigingsgegevens (CDC) bestanden van Replicate
- Verwerkt de bestanden en maakt Iceberg-tabellen aan in Qlik Open Lakehouse
- Blijft controleren op nieuwe gegevens
- Indien ingeschakeld, worden bronbestanden automatisch verwijderd na succesvolle opname
Taakinstellingen
Om de taakinstellingen te wijzigen, opent u de Onboarding_Qlik_Replicate (standaardnaam) taak en klikt u op de werkbalkknop Instellingen.
Het Instellingen: <task name> dialoogvenster wordt geopend.
Tabblad Algemeen
Deze opties worden beschreven in stap 7 van Een tussenopslagtaak maken hierboven.
-
Automatisch alle huidige en toekomstige tabellen opnemen
-
Bronbestanden verwijderen na opname
Tabblad Runtime
Wijzig de Lakehouse-cluster
Overwegingen en beperkingen
Algemene overwegingen en beperkingen
- Bewerkingen voor volledig laden en opnieuw laden kunnen een verwerkingsvertraging ondervinden voordat gegevens verschijnen in Iceberg-tabellen. Het systeem wacht maximaal 15 minuten na voltooiing van de volledige lading om ervoor te zorgen dat de bestanden compleet zijn. Als gevolg hiervan wordt het uitvoeren van volledige ladingen in Replicate (gepland of handmatig) met minder dan 15 minuten tussenpoos niet ondersteund.
- Lege Replicate-tabellen (tabellen zonder gegevensbestanden) worden niet gedetecteerd of geregistreerd door het systeem.
- Als u Bronbestanden verwijderen na opname inschakelt, kan de tussenopslagtaak niet opnieuw worden geladen. Om gegevens te laden, moet u deze opnieuw genereren in Replicate.
- Qlik Replicate's Tabellen zijn al geladen. (alleen in het Engels)Verwerking van wijzigingen starten vanaf (alleen in het Engels) Geavanceerde uitvoeroptie wordt niet ondersteund. Wanneer type 2 (historische gegevens) is ingeschakeld, zal het gebruik van deze optie de historietabel beschadigd maken.
- Schema-evolutie wordt niet ondersteund
CDC vs. Replicate Pijplijn
In een reguliere pijplijn die gegevens van CDC-bronnen opneemt, geeft de meting Gegevens bijgewerkt tot altijd de huidige Actualiteit van de gegevens aan (bijvoorbeeld, 1 minuut geleden). Dit komt doordat de pijplijn directe toegang heeft tot het transactielogboek van de database, wat realtime inzicht biedt in elke INSERT/UPDATE/DELETE-gebeurtenis. Echter, in een pijplijn die gegevens opneemt van Replicate, geeft de Gegevens zijn bijgewerkt tot-meetwaarde niet de huidige actualiteit van de gegevens weer, en kan zelfs de valse indruk wekken dat de gegevens verouderd zijn (bijvoorbeeld, 8 uur geleden). Dit komt doordat de Replicate pijplijn geen directe toegang heeft tot het transactielogboek. In plaats daarvan schrijft Replicate bestanden naar een S3 bucket, en de pijplijn controleert de aanmaaktijdstempel van het bestand om de Actualiteit van de gegevens te bepalen. Dus als er een tijdje geen nieuwe wijzigingen waren in de brondatabase, zal Replicate geen nieuw bestand aanmaken en zal de Gegevens zijn bijgewerkt tot tijdstempel verouderen (wat de verkeerde indruk wekt dat de gegevens verouderd zijn).