Qlik Data Gateway - Spostamento dati
Qlik Data Gateway - Spostamento dati (d'ora in avanti Gateway di Data Movement) semplifica lo spostamento di dati dalle sorgenti dati aziendali e dalle applicazioni SaaS alle destinazioni supportate, tramite una connessione rigorosamente in uscita, crittografata e autenticata reciprocamente. Eliminando la necessità di aprire le porte del firewall in entrata, Gateway di Data Movement fornisce un mezzo sicuro e affidabile per spostare i dati aziendali.
Quando è richiesto il Gateway di Data Movement?
Il Gateway di Data Movement è richiesto nei seguenti casi:
-
La sorgente dati o la destinazione non sono accessibili direttamente da Qlik Cloud. Esempi di sorgenti dati o destinazioni che non sono accessibili direttamente da Qlik Cloud includono le sorgenti dati o le destinazioni poste in un VPC, oppure quelle protette da un firewall vicino alle comunicazioni in entrata.
Per maggiori informazioni sulle connessioni private, vedere Supporto delle connessioni private in Qlik Talend Data Integration di seguito.
- È necessario in processo CDC in tempo reale dalle sorgenti del database.
- È necessario accedere alle piattaforme di destinazione tramite un server proxy.
-
Si dispone di una sottoscrizione Premium o Enterprise ed è necessario eseguire caricamenti incrementali dalle sorgenti di un'applicazione SaaS con una frequenza inferiore a 30 minuti. Quando si utilizza il Gateway di Data Movement, è possibile impostare l'intervallo a un valore minimo pari a 5 minuti se si dispone di queste sottoscrizioni.
Per informazioni sugli intervalli di pianificazione minimi in base al tipo di sorgente dati e i livelli di sottoscrizione, vedere Intervalli di pianificazione minimi consentiti.
- La sorgente dati è una delle seguenti:
- IBM DB2 per z/OS
- IBM DB2 per iSeries
- IBM DB2 per LUW
- SAP Extractor
- SAP (applicazione)
- SAP ODP
- SAP HANA (database)
- Oracle
- Microsoft SQL Server (basato su registro Microsoft)
- È necessario il livello aggiuntivo di protezione fornito dal Gateway di Data Movement, che impedisce che i dati escano da Qlik Cloud e consente ai clienti di controllare il percorso dati. Questo requisito è rilevante solo per le sorgenti dati RDBMS, mainframe e SAP.
Nell'esempio riportato di seguito, il Gateway di Data Movement non è richiesto poiché sia la sorgente dell'applicazione SaaS che la destinazione sul data warehouse sono direttamente accessibili da Qlik Cloud:
Protezione dei dati
Per ogni server del Gateway di Data Movement connesso al tenant Qlik Cloud viene stabilita una coppia di chiavi univoca. Questa coppia di chiavi viene utilizzata per l'autenticazione e per la crittografia end-to-end dei dati in aggiunta alla crittografia HTTPS a livello di trasporto. Inoltre, poiché la comunicazione con Qlik Cloud e il trasferimento dati vengono avviati unicamente tramite porte in uscita, non è necessario utilizzare nessuna porta in entrata per la propria rete aziendale.
Qlik Cloud Government supporta l'uso di Gateway di Data Movement quando la piattaforma Linux in cui è installato Gateway di Data Movement è configurata per l'esecuzione in una modalità di funzionamento approvata da FIPS 140-2, nota anche come "modalità FIPS".
Casi di utilizzo comuni
La seguente sezione evidenzia due casi di utilizzo comuni: lo spostamento dei dati a una destinazione a cui è possibile accedere unicamente tramite una connessione privata e lo spostamento dei dati a destinazioni che sono accessibili direttamente da Qlik Cloud.
Qlik Data Gateway - Spostamento dati svolge un ruolo centrale nel processo dello spostamento dei dati. I diagrammi riportati sotto illustrano il modo in cui Gateway di Data Movement interagisce con Qlik Cloud e le sorgenti dati dell'utente per spostare i dati in modo sicuro alle destinazioni supportate.
Il numero di Gateway di Data Movement che è necessario distribuire dipende dall'ambiente e dai casi d'uso specifici. Se le sorgenti dati dell'utente sono in prossimità le une con le altre e la destinazione è direttamente accessibile da Qlik Cloud, di norma è sufficiente un unico Gateway di Data Movement. Tuttavia, nei seguenti casi, la procedura consigliata è l'utilizzo di più gateway dati:
- Inserimento dati da sorgenti dati che sono geograficamente distanti le une dalle altre
- Spostamento di grandi volumi di dati da più sorgenti dati
- Spostamento di dati a una destinazione che non è accessibile da Qlik Cloud (ad esempio un server SQL Server in un VPC)
Supporto delle connessioni private in Qlik Talend Data Integration
Una connessione privata significa che la sorgente dati o la destinazione dell'utente non sono esposte su Internet, rendendole inaccessibili da Qlik Cloud.
Vi sono diversi tipi di connessioni private. Alcuni esempi includono:
- Snowflake AWS PrivateLink, in cui la connettività pubblica (tramite la porta 443) è stata disabilitata
- Microsoft SQL Server (o qualsiasi altro RDBMS) in esecuzione in un VPC che dispone unicamente di un indirizzo IP privato
Il Gateway di Data Movement distribuito per accedere alla destinazione esegue le operazioni ELT, che include alcuni o tutti i seguenti elementi: registrazione, archiviazione e trasformazioni dei dati e data mart.
Notare che mentre è possibile usare lo stesso gateway per accedere sia alla sorgente dati che alla destinazione dati, l'utilizzo di due gateway, uno per accedere alla sorgente e l'altro che per accedere alla destinazione, fornirà spesso prestazioni migliori. Ad esempio, se il database di origine è Oracle in loco e il database di destinazione è Snowflake AWS PrivateLink, verrà utilizzato un gateway (definito nella connessione di origine Oracle) per trasferire i dati da Oracle a Snowflake, mentre l'altro gateway (definito nella connessione Snowflake di destinazione) verrà usato per eseguire le operazioni ELT. L'utilizzo di due gateway è consigliato soprattutto se i database di origine e di destinazione non sono in prossimità l'uno con l'altro. In tale scenario, il gateway di trasferimento deve essere quanto più vicino alla sorgente, mentre il gateway di destinazione deve essere quanto più vicino alla destinazione. Se i dati ingeriti da più sorgenti dati, può anche essere consigliabile configurare un gateway dedicato per ogni sorgente dati, a seconda sia del tipo e che della posizione delle sorgenti dati. Un esempio di questo tipo di configurazione è illustrato nell'immagine sottostante.
Spostamento dati da sorgenti dati aziendali a destinazioni supportate
La sequenza di comunicazione di alto livello è la seguente:
-
Gateway di Data Movement stabilisce una connessione reciprocamente autenticata e crittografata con Qlik Cloud tramite HTTPS.
-
Qlik Cloud invia le istruzioni per l'esecuzione dell'attività a Gateway di Data Movement, che a sua volta invia un report sullo stato dell'attività a Qlik Cloud.
-
Gateway di Data Movement recupera i dati dalla sorgente dati e li spinge alla destinazione designata.
Spostamento dei dati dalle applicazioni SaaS alle destinazioni supportate
La sequenza di comunicazione di alto livello è la seguente:
-
Gateway di Data Movement stabilisce una connessione reciprocamente autenticata e crittografata con Qlik Cloud tramite HTTPS.
-
Qlik Cloud invia le istruzioni per l'esecuzione dell'attività di trasferimento su Gateway di Data Movement, che a sua volta invia un report sullo stato dell'attività a Qlik Cloud.
-
Quando l'attività di trasferimento viene avviata, Qlik Cloud estrae i dati dall'applicazione SaaS e li archivia (crittografati con la chiave del tenant).
-
Gateway di Data Movement recupera i dati dell'applicazione SaaS dal Qlik Cloud e li spinge alla destinazione designata.
Spostamento dei dati da applicazioni SaaS e sorgenti dati aziendali a destinazioni supportate
La sequenza di comunicazione di alto livello è una combinazione dei casi di utilizzo "Spostamento dati da sorgenti dati aziendali" e "Spostamento dati da applicazioni SaaS" descritti sopra.
Spostamento dei dati da applicazioni SaaS e sorgenti dati aziendali in un VPC a destinazioni all'interno di quest'ultimo
La sequenza di comunicazione di alto livello per lo spostamento dei dati dall'applicazione SaaS è come segue:
-
Gateway di Data Movement stabilisce una connessione reciprocamente autenticata e crittografata con Qlik Cloud tramite HTTPS.
-
Qlik Cloud invia le istruzioni per l'esecuzione dell'attività di trasferimento su Gateway di Data Movement, che a sua volta invia un report sullo stato dell'attività a Qlik Cloud.
-
Quando l'attività di trasferimento viene avviata, Qlik Cloud estrae i dati dall'applicazione SaaS e li archivia (crittografati con la chiave del tenant).
-
Gateway di Data Movement recupera i dati dell'applicazione SaaS dal Qlik Cloud e li spinge alla destinazione designata.
La sequenza di comunicazione di alto livello per lo spostamento dei dati dalla sorgente dati aziendale è come segue:
-
Gateway di Data Movement stabilisce una connessione reciprocamente autenticata e crittografata con Qlik Cloud tramite HTTPS.
-
Qlik Cloud invia le istruzioni per l'esecuzione dell'attività di trasferimento su Gateway di Data Movement, che a sua volta invia un report sullo stato dell'attività a Qlik Cloud.
-
Gateway di Data Movement recupera i dati dalla sorgente dati e li spinge alla destinazione designata.
Ulteriori informazioni
- Prerequisiti e limitazioni di Gateway di Data Movement
- Configurazione del gateway Data Movement
- Gestione del server Gateway di Data Movement
- Gestione di Gateway di Data Movement in Amministrazione
- Aggiornamento e disinstallazione del Gateway di Data Movement
- Risoluzione dei problemi Gateway di Data Movement
- Qlik Data Gateway - Panoramica di Data Movement