Uw pijplijnproject ontwerpen
Qlik Talend Data Integration biedt de mogelijkheid om gegevenspijplijnen te maken om verschillende taken voor gegevensintegratie uit te voeren ter ondersteuning van de vereisten voor uw gegevensarchitectuur en analyses.
U maakt uw gegevensintegratiestroom in een pijplijnproject, met behulp van gegevenstaken. Het project wordt gekoppeld aan een gegevensplatform dat wordt gebruikt als doel voor alle uitvoergegevens. Het project wordt opgeslagen in een gegevensruimte. U moet ook verbindingen naar uw bronnen en doelen maken.
Een ruimte maken
Werken in ruimten in Gegevensintegratie
Maak een gegevensruimte die wordt gebruikt om uw project te maken en op te slaan. In de ruimte kunt u ook nieuwe verbindingen maken met behulp van connectoren en toegang tot Data Movement gateways beheren.
Maak verbindingen naar uw bronnen en doelen
Verbindingen instellen naar gegevensbronnen
Maak verbindingen naar uw gegevensbronnen.
Verbindingen naar doelen instellen
Maak verbindingen naar uw doelplatform.
Qlik Gegevensgateway - Gegevensverplaatsing
Stel een Qlik Gegevensgateway - Gegevensverplaatsing in voor de veilige verplaatsing van gegevens vanuit de gegevensbronnen van uw bedrijf en vanuit SaaS-applicaties naar ondersteunde doelen.
Een pijplijnproject maken
Wanneer u een pijplijnproject maakt, moet u uw gebruiksscenario selecteren.
Gegevenspijplijnprojecten maken en beheren
Gegevenspijplijnprojecten ondersteunen het opnemen van gegevens uit een groot aantal ondersteunde bronnen in een gegevensplatform, waar u gegevens vervolgens kunt transformeren met ELT-transformaties (pushdown) om datalakehouse- en datawarehouse-architecturen te ondersteunen. Pijplijnen ondersteunen logboekgebaseerde CDC en incrementele gegevensbronnen, maar bieden een reeks opties voor gegevensopname in de belangrijkste datawarehouse-platforms.
Gebruik een gegevenspijplijnproject wanneer u het volgende wilt doen:
-
Ondersteuning van type 1 en type 2 gegevensstructuren voor op uw opnameprocessen.
-
Transformeer uw gegevens en geef ze opnieuw vorm, zodat ze geschikt zijn voor uitvoer of sterrenschema's voor analytische werklasten.
-
Maak een lakehouse op basis van Iceberg.
-
Maak een Qlik Open Lakehouse op basis van Apache Iceberg en spiegel tabellen naar uw clouddatawarehouse.
-
Maak complexe pijplijnen die projectoverstijgend worden beheerd voor organisatorische of functionele grenzen.
Een replicatieproject maken
Replicatieprojecten ondersteunen directe replicatie van een groot aantal ondersteunde gegevensbronnen naar datalakes of elk ondersteund doelplatform. Gegevens worden direct toegepast op uw doelstructuren, maar complexe transformaties of het opnieuw vormgeven van gegevens wordt niet ondersteund. Replicatiepijplijnen ondersteunen een grotere reeks doelechnologieën voor replicatiescenario's.
Gebruik een replicatieproject om het volgende te doen:
-
Repliceer gegevens naar uw doel, zonder complexe transformaties van die gegevens.
-
Repliceer gegevens naar een doel dat niet wordt ondersteund door gegevenspijplijnen.
Scheduling tasks
In sommige gevallen moet u mogelijk uw taak plannen om wijzigingen vanuit de gegevensbron naar het doelplatform door te voeren.
Voor informatie over gebruiksscenario's die planning vereisen, evenals instructies voor het instellen van planningsintervallen, zie Scheduling tasks.
Beheer versies van uw pijplijnproject
Uw pijplijnprojecten beheren met versiebeheer
Gebruik versiebeheer om de ontwikkeling van een gegevensproject te beheren en wijzigingen bij te houden.
Definieer pijplijnen in code
Declaratieve pipelines
Exporteer een pijplijn als YAML-configuratiebestanden, bewerk ze in uw IDE, en implementeer ze met de import-API of versiebeheer. Omgevingen beheren en pipelines promoten met behulp van Git-branching.