Progettazione del progetto pipeline
Qlik Talend Data Integration offre la possibilità di creare pipeline di dati per eseguire una varietà di attività di integrazione dei dati a supporto dell'architettura dei dati e dei requisiti di analisi.
È possibile creare il flusso di integrazione dati in un progetto pipeline, utilizzando le attività dati. Il progetto è associato a una piattaforma dati che viene utilizzata come destinazione per tutti gli output. Il progetto viene archiviato in uno spazio dati. È necessario anche creare connessioni a sorgenti e destinazioni.
Creare uno spazio
Uso degli spazi in Integrazione dati
Creare uno spazio dati che viene utilizzato per creare e archiviare il progetto. All'interno di questi spazi, è possibile inoltre creare nuove connessioni utilizzando i connettori, oltre a gestire l'accesso a Data Movement Gateway.
Creare connessioni a sorgenti e destinazioni
Configurazione di connessioni alle sorgenti dati
Creare connessioni alle sorgenti dati.
Configurazione delle connessioni alle destinazioni
Creare connessioni alla piattaforma di destinazione.
Qlik Data Gateway - Movimento dati
Configurare Qlik Data Gateway - Movimento dati per consentire lo spostamento sicuro dei dati da sorgenti dati aziendali e applicazioni SaaS nelle destinazioni supportate.
Creazione di un progetto pipeline
Quando si crea un progetto pipeline, è necessario selezionare il caso d'uso.
Creazione e gestione di progetti di pipeline di dati
I progetti di pipeline di dati supportano l'acquisizione di dati da un gran numero di sorgenti dati supportate in una piattaforma di dati, dove è possibile trasformare i dati con trasformazioni ELT (pushdown) per supportare architetture di data lakehouse e data warehouse. Le pipeline supportano operazioni CDC basate su log e sorgenti dati incrementali, ma forniscono una serie di opzioni per l'acquisizione dei dati nelle principali piattaforme di data warehouse.
Utilizzare un progetto di pipeline di dati quando si desidera effettuare quanto segue:
-
Supportare le strutture di dati di tipo 1 e 2 con i processi di acquisizione.
-
Trasformare e rimodellare i dati per ottenere un output adatto allo scopo o degli schemi a stella per i carichi di lavoro analitici.
-
Creare un data lakehouse basato su Iceberg.
-
Crea un Qlik Open Lakehouse basato su Apache Iceberg e replica le tabelle sul tuo data warehouse cloud.
-
Creare pipeline complesse che vengono gestite nei progetti per i limiti organizzativi o funzionali.
Creazione di un progetto di replica
I progetti di replica supportano la replica diretta da un gran numero di sorgenti supportate ai data lake o a qualsiasi piattaforma di destinazione supportata. I dati vengono applicati direttamente alle strutture di destinazione, ma non sono supportate trasformazioni o rimodellamenti complessi dei dati. Le pipeline per la replica supportano un set più vasto di tecnologie di destinazione per gli scenari di replica.
Utilizzare un progetto di replica quando si desidera effettuare quanto segue:
-
Replicare i dati alla destinazione e non sono necessarie trasformazioni complesse per quei dati.
-
Replicare i dati in una destinazione non supportata dalle pipeline di dati.
Scheduling tasks
In alcuni casi, potrebbe essere necessario pianificare l'attività per propagare le modifiche dalla sorgente dati alla piattaforma di destinazione.
Per informazioni sui casi d'uso che richiedono la pianificazione, nonché istruzioni per l'impostazione degli intervalli di pianificazione, consultare Scheduling tasks.
Gestire le versioni del progetto della pipeline
Gestione dei progetti pipeline con il controllo della versione
Utilizzare il controllo della versione per gestire lo sviluppo di un progetto dati e per tenere traccia delle modifiche.
Definire pipeline nel codice
Pipeline dichiarative
Esporta una pipeline come file di configurazione YAML, modificali nel tuo IDE, e distribuiscili con l'API di importazione o il controllo della versione. Gestisci ambienti e promuovi le pipeline utilizzando il branching Git.