Utforma ditt pipelineprojekt
Qlik Talend Data Integration ger möjlighet att skapa datapipelines för att utföra många olika dataintegreringsuppgifter till stöd för din dataarkitektur och dina analyskrav.
Du skapar ditt dataintegreringsflöde i ett pipelineprojekt, med hjälp av datauppgifter. Projektet är kopplat till en dataplattform som används som mål för all utdata. Projektet lagras i ett datautrymme. Du måste också skapa kopplingar till dina datakällor och -mål.
Skapa ett utrymme.
Arbeta i utrymmen i Dataintegration
Skapa ett datautrymme som används för att skapa och lagra ditt projekt. I utrymmet kan du också skapa nya anslutningar med hjälp av kopplingar och hantera åtkomst till Data Movement gateways.
Skapa kopplingar till dina källor och mål
Konfigurera kopplingar till datakällor
Skapa kopplingar till dina datakällor.
Konfigurera kopplingar till mål
Skapa kopplingar till din målplattform.
Qlik Data Gateway – dataflytt
Konfigurera Qlik Data Gateway – dataflytt för att underlätta säker dataförflyttning från företagets datakällor och SaaS-program till mål som stöds.
Skapa ett pipelineprojekt
När du skapar ett pipelineprojekt måste du välja ditt användningsfall.
Skapa och hantera datapipelineprojekt
Dataprojekt stödjer ingång av data från ett stort antal källor till en dataplattform där du sedan kan transformera data med ELT-transformeringar (pushdown) för att stödja datasjöhus- och datalagerarkitekturer. Pipelines stöder loggbaserad CDC och inkrementella datakällor men ger en rad alternativ för datainmatning till större datalagerplattformar.
Använd ett datapipelineprojekt när du vill:
-
Stödja datastrukturer av typ 1 och typ 2 med dina inhämtningsprocesser.
-
Transformera och omforma dina data till målanpassad utdata eller stjärnscheman för analytiska arbetsbelastningar.
-
Skapa ett sjöhus baserat på Iceberg.
-
Skapa ett Qlik Open Lakehouse baserat på Apache Iceberg och spegla tabeller till ditt molndatalager.
-
Skapa komplexa pipelines som hanteras över projektgränser för organisatoriska eller funktionella gränser.
Skapa ett replikeringsprojekt
Replikeringsprojekt stöder direkt replikering från ett stort antal källor som stöds till datasjöar eller andra målplattformar som stöds. Data appliceras direkt på dina målstrukturer men komplexa transformeringar eller omformning av data stöds inte. Replikeringspipelines stöder en större uppsättning måltekniker för replikeringsscenarier.
Använd ett replikeringsprojekt när du vill:
-
Replikera data till ditt mål och inte behöver komplexa transformeringar på dessa data.
-
Replikera data till ett mål som inte stöds av datapipelines.
Scheduling tasks
I vissa fall kan du behöva schemalägga din uppgift för att sprida ändringar från datakällan till målplattformen.
För information om användningsfall som kräver schemaläggning samt instruktioner för att ställa in schemaläggningsintervall, se Scheduling tasks.
Hantera versioner av ditt pipelineprojekt
Hantera dina pipelineprojekt med versionskontroll
Använd versionskontroll för att hantera utvecklingen av ett dataprojekt och för att hålla reda på ändringar.
Definiera pipelines i kod
Deklarativa pipelines
Exportera en pipeline som YAML-konfigurationsfiler, redigera dem i din IDE och distribuera dem med import-API:et eller versionskontroll. Hantera miljöer och främja pipelines med Git-förgrening.