Utforma ditt dataintegrationsprojekt
Qlik Talend Data Integration ger möjlighet att skapa datapipelines som ger möjlighet att utföra många olika dataintegreringsuppgifter till stöd för din dataarkitektur och dina analyskrav.
Du skapar ditt dataintegreringsflöde i ett projekt med hjälp av datauppgifter. Projektet är kopplat till en dataplattform som används som mål för all utdata. Projektet lagras i ett datautrymme. Du måste också skapa kopplingar till dina datakällor och -mål.
Skapa ett utrymme.
Arbeta i utrymmen i Dataintegration
Skapa ett datautrymme som används för att skapa och lagra ditt projekt. I utrymmet kan du också skapa nya anslutningar med kopplingar och hantera åtkomst till Data Movement gateways.
Skapa kopplingar till dina källor och mål
Konfigurera kopplingar till datakällor
Skapa kopplingar till dina datakällor.
Konfigurera kopplingar till mål
Skapa kopplingar till din målplattform.
Qlik Data Gateway - Data Movement
Konfigurera Qlik Data Gateway - Data Movement för att underlätta säker dataförflyttning från företagets datakällor och SaaS-program till mål som stöds.
Skapa ett projekt:
När du skapar ett projekt måste du välja ditt användningsfall.
Skapa ett datapipelineprojekt
Dataprojekt stödjer ingång av data från ett stort antal källor till en dataplattform där du sedan kan transformera data med ELT-transformationer (pushdown) för att stödja datasjöhus- och datalagerarkitekturer. Pipelines stöder loggbaserad CDC och inkrementella datakällor men ger en rad alternativ för datainmatning till större datalagerplattformar.
Använd ett datapipelineprojekt när du vill:
-
Stödja datastrukturer av typ 1 och typ 2 med dina inhämtningsprocesser.
-
Transformera och omforma dina data till målanpassad utdata eller stjärnscheman för analytiska arbetsbelastningar.
-
Skapa ett sjöhus baserat på Iceberg.
-
Skapa komplexa pipelines som hanteras över projektgränser för organisatoriska eller funktionella gränser.
Skapa ett replikeringsprojekt
Replikeringsprojekt stöder direkt replikering från ett stort antal källor som stöds till datasjöar eller andra målplattformar som stöds. Data appliceras direkt på dina målstrukturer men komplexa transformationer eller omformning av data stöds inte. Replikeringspipelines stöder en större uppsättning måltekniker för replikeringsscenarier.
Använd ett replikeringsprojekt när du vill:
-
Replikera data till ditt mål och inte behöver komplexa transformationer på dessa data.
-
Replikera data till ett mål som inte stöds av datapipelines.
Hantera versioner av ditt pipelineprojekt
Hantera dina projekt med versionkontroll
Använd versionskontroll för att hantera utvecklingen av ett dataprojekt och för att hålla reda på ändringar.