Inserimento dati

Il primo passaggio della creazione di una pipeline di dati in un progetto di Qlik Talend Data Integration è l'inserimento dei dati. Ciò comporta il trasferimento dei dati dalla sorgente dati e l'archiviazione di set di dati in formato ottimizzato per la lettura. È possibile aggiornare i dati con una continua gestione delle modifiche o utilizzando ricaricamenti pianificati.

Crei l'onboarding in un'unica operazione, ma viene eseguita in due passaggi.

• Trasferimento dei dati

  Ciò comporta il trasferimento continuo dei dati dalla sorgente dati in loco in un'area di trasferimento, utilizzando un'attività dati di Trasferimento.

  Trasferimento dati da sorgenti dati

• Archiviazione di set di dati

  Ciò comporta la lettura del caricamento iniziale di dati di trasferimento o dei caricamenti incrementali e l'applicazione dei dati in un formato ottimizzato per la lettura utilizzando un'attività dati di Archiviazione.

  Archiviazione di set di dati

Dopo aver eseguito l'inserimento dei dati, è possibile utilizzare i set di dati archiviati in diversi modi.

• È possibile utilizzare i set di dati in un'app di analisi.

• È possibile creare trasformazioni.

• È possibile creare un data mart.

Inserisci dati

Quando si inizia a inserire i dati in un progetto, i set di dati verranno archiviati nel data warehouse cloud definito nel progetto. Per ulteriori informazioni sui progetti, vedere Creazione di una pipeline di dati .

1. Nel progetto, fare clic su Aggiungi nuovo e poi su Inserisci dati.

   Nota di suggerimentoÈ possibile anche fare clic su su una sorgente esistente nel progetto, quindi fare clic su Inserisci dati.

2. Aggiungi Nome e Descrizione per l'inserimento.

   Fai clic su Avanti.

3. Seleziona il collegamento sorgente.

   È possibile selezionare una connessione di origine esistente o creare una nuova connessione alla sorgente.

   Per ulteriori informazioni, vedere Configurazione di connessioni alle sorgenti dati

   Fai clic su Avanti.

4. Seleziona i dati da caricare.

   Per ulteriori informazioni, vedere Selezione di dati.

   Fai clic su Avanti.

   Vengono visualizzate le Impostazioni, dove è possibile selezionare il metodo di aggiornamento e le impostazioni della cronologia.

5. Selezionare il metodo che si desidera usare per aggiornare i dati in Metodo di aggiornamento:

   • Change Data Capture (CDC)

     Se i dati contengono anche tabelle che non supportano la funzione CDC o le visualizzazioni, verranno create due pipeline di dati. Una pipeline con tutte le tabelle che supportano la funzione CDC, e un'altra pipeline con tutte le altre tabelle e visualizzazioni che utilizzano Ricaricamento e confronto.

   • Ricaricamento e confronto

6. Selezionare se si desidera replicare la cronologia dei dati precedenti oltre ai dati correnti in Cronologia.

   Fare clic su Avanti quando si è pronti.

7. Se non si utilizza il Gateway di Data Movement per accedere alla sorgente dati, la seguente sezione verrà visualizzata nelle impostazioni:

   Pianificazione replica

   • Replica dati ogni: è possibile pianificare la frequenza con cui acquisire le modifiche dalla sorgente dati e impostare Ora di inizio e Data di inizio. Se i set di dati di origine supportano il CDC (Change data capture), solo le modifiche ai dati di origine verranno replicate e applicate alle tabelle di destinazione corrispondenti. Se i set di dati di origine non supportano il CDC (ad esempio, le viste), le modifiche verranno applicate ricaricando tutti i dati di origine nelle tabelle di destinazione corrispondenti. Se alcuni dei set di dati di origine supportano il CDC e altri no, verranno create due sottoattività separate: una per ricaricare i set di dati che non supportano il CDC e l'altra per acquisire le modifiche ai set di dati che supportano il CDC.

     L'installazione guidata per il processo di onboarding consente di pianificare un intervallo orario. Una volta completata l'installazione guidata, è possibile valutare differenti opzioni di pianificazione, come descritto in Pianificazione di attività quando non si utilizza il Gateway di Data Movement.

   Per informazioni sugli intervalli di pianificazione minimi in base al tipo di sorgente dati e i livelli di sottoscrizione, vedere Intervalli di pianificazione minimi consentiti.

8. Visualizzare in anteprima le attività dati create per l'inserimento dei dati e rinominarle se desiderato.

   Nota di suggerimentoI nomi vengono utilizzati durante la denominazione degli schemi di database nell'asset dei dati di archiviazione. Poiché uno schema può essere associato solo a un'attività, prendere in considerazione l'utilizzo di nomi univoci per evitare conflitti con asset di dati in altri progetti che utilizzano la stessa piattaforma dati.

9. Selezionare se si desidera aprire qualsiasi attività dati creata, oppure tornare al progetto.

   Quando si è pronti, fare clic su Fine.

Le attività dati di onboarding vengono create. Per iniziare a replicare i dati è necessario:

• Preparare ed eseguire l'attività per i dati di trasferimento.

  Per ulteriori informazioni, vedere Trasferimento dati da sorgenti dati.

• Preparare ed eseguire l'attività per i dati di archiviazione.

  Per ulteriori informazioni, vedere Archiviazione di set di dati

Selezione di dati

È possibile selezionare tabelle o viste specifiche oppure utilizzare regole di selezione per includere o escludere gruppi di tabelle.

Utilizzare % come carattere jolly per definire un criterio di selezione per schemi e tabelle.

• %.% definisce tutte le tabelle in tutti gli schemi.

• Public.% definisce tutte le tabelle nello schema Pubblico.

I criteri di selezione offrono all'utente un'anteprima in base alle selezioni personali.

Ora è possibile:

• Creare una regola per includere o escludere un gruppo di tabelle in base ai criteri di selezione.

  Fare clic su Aggiungi regola dai criteri di selezioneper creare una regola e selezionare sia Includi sia Escludi.

  È possibile vedere la regola in Regole di selezione.

• Selezionare uno o più set di dati e fare clic su Aggiungi set di dati selezionati.

  È possibile vedere i set di dati aggiunti in Set di dati selezionati in modo esplicito.

Le regole di selezione si applicano solo all'insieme corrente di tabelle e viste, non a tabelle e viste che verranno aggiunte in futuro.