Qlik Data Gateway - Data Movement
Qlik Data Gateway - Data Movement (d'ora in avanti Data Movement gateway) semplifica lo spostamento di dati dalle sorgenti dati aziendali e dalle applicazioni SaaS alle destinazioni supportate, tramite una connessione rigorosamente in uscita, crittografata e autenticata reciprocamente. Eliminando la necessità di aprire le porte del firewall in entrata, Data Movement gateway fornisce un mezzo sicuro e affidabile per spostare i dati aziendali.
Quando è richiesto il Data Movement gateway?
Il Data Movement gateway è richiesto nei seguenti casi:
-
La sorgente dati o la destinazione non sono accessibili direttamente da Qlik Cloud. Esempi di sorgenti dati o destinazioni che non sono accessibili direttamente da Qlik Cloud includono le sorgenti dati o le destinazioni poste in un VPC, oppure quelle protette da un firewall vicino alle comunicazioni in entrata.
Per maggiori informazioni sulle connessioni private, vedere Supporto delle connessioni private in Qlik Talend Data Integration di seguito.
- È necessario un processo CDC in tempo reale dalle sorgenti del database.
- È necessario accedere alle piattaforme di destinazione tramite un server proxy.
-
Si dispone di una sottoscrizione Premium o Enterprise ed è necessario eseguire caricamenti incrementali dalle sorgenti di un'applicazione SaaS con una frequenza inferiore a 30 minuti. Quando si utilizza il Data Movement gateway, è possibile impostare l'intervallo a un valore minimo pari a 5 minuti se si dispone di queste sottoscrizioni.
Per informazioni sugli intervalli di pianificazione minimi in base al tipo di sorgente dati e i livelli di sottoscrizione, vedere Intervalli di pianificazione minimi consentiti.
- La sorgente dati è una delle seguenti:
- IBM DB2 per z/OS
- IBM DB2 per iSeries
- IBM DB2 per LUW
- SAP Extractor
- SAP (applicazione)
- SAP ODP
- SAP HANA (database)
- Oracle
- Microsoft SQL Server (basato su registro Microsoft)
- È necessario il livello aggiuntivo di protezione fornito dal Data Movement gateway, che impedisce che i dati escano da Qlik Cloud e consente ai clienti di controllare il percorso dati. Questo requisito è rilevante solo per le sorgenti dati RDBMS, mainframe e SAP.
Nell'esempio riportato di seguito, il Data Movement gateway non è richiesto poiché sia la sorgente dell'applicazione SaaS che la destinazione sul data warehouse sono direttamente accessibili da Qlik Cloud:
Spostamento dei dati da un'applicazione SaaS alla destinazione di un data warehouse senza il Data Movement gateway

Protezione dei dati
Per ogni server del Data Movement gateway connesso al tenant Qlik Cloud viene stabilita una coppia di chiavi univoca. Questa coppia di chiavi viene utilizzata per l'autenticazione e per la crittografia end-to-end dei dati in aggiunta alla crittografia HTTPS a livello di trasporto. Inoltre, poiché la comunicazione con Qlik Cloud e il trasferimento dati vengono avviati unicamente tramite porte in uscita, non è necessario utilizzare nessuna porta in entrata per la propria rete aziendale.
Qlik Cloud Government supporta l'uso di Data Movement gateway quando la piattaforma Linux in cui è installato Data Movement gateway è configurata per l'esecuzione in una modalità di funzionamento approvata da FIPS 140-2, nota anche come "modalità FIPS".
Casi di utilizzo comuni
La seguente sezione evidenzia due casi di utilizzo comuni: lo spostamento dei dati a una destinazione a cui è possibile accedere unicamente tramite una connessione privata e lo spostamento dei dati a destinazioni che sono accessibili direttamente da Qlik Cloud.
Qlik Data Gateway - Data Movement svolge un ruolo centrale nel processo dello spostamento dei dati. I diagrammi riportati sotto illustrano il modo in cui Data Movement gateway interagisce con Qlik Cloud e le sorgenti dati dell'utente per spostare i dati in modo sicuro alle destinazioni supportate.
Il numero di Data Movement gateway che è necessario distribuire dipende dall'ambiente e dai casi d'uso specifici. Se le sorgenti dati dell'utente sono in prossimità le une con le altre e la destinazione è direttamente accessibile da Qlik Cloud, di norma è sufficiente un unico Data Movement gateway. Tuttavia, nei seguenti casi, la procedura consigliata è l'utilizzo di più gateway dati:
- Inserimento dati da sorgenti dati che sono geograficamente distanti le une dalle altre
- Spostamento di grandi volumi di dati da più sorgenti dati
- Spostamento di dati a una destinazione che non è accessibile da Qlik Cloud (ad esempio un server SQL Server in un VPC)
Supporto delle connessioni private in Qlik Talend Data Integration
Una connessione privata significa che la sorgente dati o la destinazione dell'utente non sono esposte su Internet, rendendole inaccessibili da Qlik Cloud.
Vi sono diversi tipi di connessioni private. Alcuni esempi includono:
- Snowflake AWS PrivateLink, in cui la connettività pubblica (tramite la porta 443) è stata disabilitata
- Microsoft SQL Server (o qualsiasi altro RDBMS) in esecuzione in un VPC che dispone unicamente di un indirizzo IP privato
Il Data Movement gateway distribuito per accedere alla destinazione esegue le operazioni ELT, che include alcuni o tutti i seguenti elementi: registrazione, archiviazione e trasformazioni dei dati e data mart.
Notare che mentre è possibile usare lo stesso gateway per accedere sia alla sorgente dati che alla destinazione dati, l'utilizzo di due gateway, uno per accedere alla sorgente e l'altro che per accedere alla destinazione, fornirà spesso prestazioni migliori. Ad esempio, se il database di origine è Oracle in loco e il database di destinazione è Snowflake AWS PrivateLink, verrà utilizzato un gateway (definito nella connessione di origine Oracle) per trasferire i dati da Oracle a Snowflake, mentre l'altro gateway (definito nella connessione Snowflake di destinazione) verrà usato per eseguire le operazioni ELT. L'utilizzo di due gateway è consigliato soprattutto se i database di origine e di destinazione non sono in prossimità l'uno con l'altro. In tale scenario, il gateway di trasferimento deve essere quanto più vicino alla sorgente, mentre il gateway di destinazione deve essere quanto più vicino alla destinazione. Se i dati ingeriti da più sorgenti dati, può anche essere consigliabile configurare un gateway dedicato per ogni sorgente dati, a seconda sia del tipo e che della posizione delle sorgenti dati. Un esempio di questo tipo di configurazione è illustrato nell'immagine sottostante.
Spostamento dati da sorgenti dati distribuite a una destinazione su un VPC ed esecuzione delle operazioni ELT sulla destinazione

Spostamento dati da sorgenti dati aziendali a destinazioni supportate
La sequenza di comunicazione di alto livello è la seguente:
-
Data Movement gateway stabilisce una connessione reciprocamente autenticata e crittografata con Qlik Cloud tramite HTTPS.
-
Qlik Cloud invia le istruzioni per l'esecuzione dell'attività a Data Movement gateway, che a sua volta invia un report sullo stato dell'attività a Qlik Cloud.
-
Data Movement gateway recupera i dati dalla sorgente dati e li spinge alla destinazione designata.
Data Movement gateway - Spostamento dati da sorgenti dati aziendali a destinazioni supportate

Spostamento dei dati dalle applicazioni SaaS alle destinazioni supportate
La sequenza di comunicazione di alto livello è la seguente:
-
Data Movement gateway stabilisce una connessione reciprocamente autenticata e crittografata con Qlik Cloud tramite HTTPS.
-
Qlik Cloud invia le istruzioni per l'esecuzione dell'attività di trasferimento su Data Movement gateway, che a sua volta invia un report sullo stato dell'attività a Qlik Cloud.
-
Quando l'attività di trasferimento viene avviata, Qlik Cloud estrae i dati dall'applicazione SaaS e li archivia (crittografati con la chiave del tenant).
-
Data Movement gateway recupera i dati dell'applicazione SaaS dal Qlik Cloud e li spinge alla destinazione designata.
Data Movement gateway - Spostamento dei dati dalle applicazioni SaaS alle destinazioni supportate

Spostamento dei dati da applicazioni SaaS e sorgenti dati aziendali a destinazioni supportate
La sequenza di comunicazione di alto livello è una combinazione dei casi di utilizzo "Spostamento dati da sorgenti dati aziendali" e "Spostamento dati da applicazioni SaaS" descritti sopra.
Data Movement gateway - Spostamento dei dati da applicazioni SaaS e sorgenti dati aziendali a destinazioni supportate

Spostamento dei dati da applicazioni SaaS e sorgenti dati aziendali in un VPC a destinazioni all'interno di quest'ultimo
La sequenza di comunicazione di alto livello per lo spostamento dei dati dall'applicazione SaaS è come segue:
-
Data Movement gateway stabilisce una connessione reciprocamente autenticata e crittografata con Qlik Cloud tramite HTTPS.
-
Qlik Cloud invia le istruzioni per l'esecuzione dell'attività di trasferimento su Data Movement gateway, che a sua volta invia un report sullo stato dell'attività a Qlik Cloud.
-
Quando l'attività di trasferimento viene avviata, Qlik Cloud estrae i dati dall'applicazione SaaS e li archivia (crittografati con la chiave del tenant).
-
Data Movement gateway recupera i dati dell'applicazione SaaS dal Qlik Cloud e li spinge alla destinazione designata.
La sequenza di comunicazione di alto livello per lo spostamento dei dati dalla sorgente dati aziendale è come segue:
-
Data Movement gateway stabilisce una connessione reciprocamente autenticata e crittografata con Qlik Cloud tramite HTTPS.
-
Qlik Cloud invia le istruzioni per l'esecuzione dell'attività di trasferimento su Data Movement gateway, che a sua volta invia un report sullo stato dell'attività a Qlik Cloud.
-
Data Movement gateway recupera i dati dalla sorgente dati e li spinge alla destinazione designata.
Data Movement gateway - Spostamento dei dati da applicazioni SaaS e sorgenti dati aziendali in un VPC a destinazioni all'interno di quest'ultimo

Ulteriori informazioni
- Requisiti di sistema di Data Movement gateway
- Configurazione del gateway Data Movement
- Gestione del server Data Movement gateway
- Gestione di Data Movement gateway in Amministrazione
- Aggiornamento e disinstallazione del Data Movement gateway
- Risoluzione dei problemi Data Movement gateway
- Qlik Data Gateway - Panoramica di Data Movement