Snowflake

È possibile utilizzare Snowflake come piattaforma dati di destinazione in una pipeline di dati o in un'attività di replica. In una pipeline di dati, è possibile eseguire diverse operazioni ELT nella piattaforma di destinazione, tra cui archiviare i dati, trasformarli, creare data mart e registrare i dati. Un'attività di replica, d'altra parte, include la replica dei dati direttamente da un sistema di origine a un sistema di destinazione con funzionalità di trasformazione di base, ma senza il supporto delle operazioni ELT.

Per l'impostazione di Snowflake come destinazione sono necessari i seguenti elementi:

• Configurazione di Autorizzazioni richieste sul database.
• Installazione del driver richiesto. Notare che ciò è richiesto solo se ci si sta connettendo a Snowflake via Gateway di Data Movement.
• Configurazione di una connessione a Snowflake

Impostazione delle proprietà di connessione

Per configurare il connettore, procedere come segue:

1. In Connessioni, fare clic su Crea connessione.

2. Selezionare il connettore Snowflake di destinazione, quindi fornire le seguenti impostazioni:

Gateway di Data Movement

Gateway dati

È richiesto un Gateway di Data Movement solo se non è possibile accedere al database di destinazione da Qlik Cloud ed è possibile accedervi solo utilizzando un Private Link (ad esempio, se è posizionato o in un Virtual Private Cloud). In questo caso, selezionare il Gateway di Data Movement che si desidera utilizzare per accedere al database di destinazione.

A seconda del caso di utilizzo, questo sarà lo stesso Gateway di Data Movement distribuito per spostare i dati da una sorgente dati, oppure uno differente.

Per informazioni sui casi di utilizzo del Gateway di Data Movement, vedere Quando è richiesto il Gateway di Data Movement? e Casi di utilizzo comuni.

Se il database di destinazione è accessibile direttamente da Qlik Cloud, selezionare Nessuno.

Proprietà di connessione

• Server: l'URL per accedere a Snowflake. Ad esempio, myaccount.snowflakecomputing.com.

• Porta: la porta che si desidera utilizzare per accedere al database Snowflake. La porta predefinita è la 443.

Autenticazione

Esistono diversi modi per autenticare una connessione:

• Nome utente e password

• Coppia di chiavi

  Il database Snowflake deve essere configurato per utilizzare l'autenticazione a coppia di chiavi. Il processo è descritto nella documentazione Snowflake:

  • Configurazione dell'autenticazione a coppia di chiavi

  Nota informaticaSe si usa Gateway di Data Movement, per usare l'autenticazione a coppia di chiavi è necessaria la versione 2024.5.14 oppure una versione superiore.

Proprietà dell'account

Nome utente e password

Nome utente e Password: il nome utente e la password di un utente autorizzato ad accedere al database di Snowflake.

Coppia di chiavi

Proprietà del database

• Data warehouse predefinito: il nome del warehouse Snowflake. È possibile sostituirlo nelle impostazioni del progetto.

• Nome database: per specificare un database, è possibile utilizzare i due metodi descritti di seguito.

  • Metodo 1 - Selezione da un elenco: Fare clic su Carica database, quindi selezionare un database.

  • Metodo 2 - Manualmente: selezionare Inserisci nome database manualmente, quindi inserire il nome del database.

Proprietà interne

Le proprietà interne servono per casi d'uso speciali e pertanto non vengono visualizzate nella finestra di dialogo. Gli utenti devono utilizzarle solo se indicato dal Supporto di Qlik.

Usare i pulsanti e a destra del campo per aggiungere o rimuovere proprietà in base alle esigenze.

Nome

Il nome visualizzato per la connessione.

Prerequisiti

Autorizzazioni richieste

Sono necessarie le seguenti autorizzazioni:

Autorizzazioni richieste se si vuole che gli schemi che non esistono vengano creati automaticamente

• UTILIZZO SU DATABASE
• CREA SCHEMA SU DATABASE

Autorizzazioni richieste se lo schema esiste già

• UTILIZZO SU DATABASE
• UTILIZZO SU SCHEMA
• CREA FORMATO FILE SU SCHEMA
• CREA FASE SU SCHEMA
• CREA TABELLA SU SCHEMA

Configurazione del driver

Un driver è necessario solo se si accede al database tramite Gateway di Data Movement.

È possibile installare driver utilizzando l'utilità di installazione dei driver (procedura consigliata) oppure manualmente. Si consiglia di utilizzate l'installazione manuale nel caso improbabile che si riscontrasse un problema con l'utilità di installazione dei driver.

Utilizzo dell'utilità di installazione dei driver per installare il driver

Questa sezione descrive come installare il driver richiesto. Per questo processo è necessario scaricare il driver, copiarlo nella cartella richiesta (vedere sotto) ed eseguire uno script che lo installerà e configurerà automaticamente. È inoltre possibile eseguire script per aggiornare e disinstallare il driver secondo le necessità.

Preparazione dell'installazione

• Assicurarsi che Python 3.6.x o versione successiva sia installato sul server del gateway di Data Movement.

  Python è preinstallato nella maggior parte delle distribuzioni Linux. È possibile verificare quale versione di Python è installata sul sistema, eseguendo il seguente comando:

  python3 --version

• Scaricare il driver ODBC Snowflake "snowflake-odbc-<version>.x86_64.rpm". È possibile trovare un collegamento di download diretto alla versione supportata in binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml. Una volta completato il download, copiare il file in:

  /opt/qlik/gateway/movement/drivers/snowflake

Installazione di driver

installare driver:

1. Arrestare il servizio gateway di Data Movement:

   sudo systemctl stop repagent

2. Facoltativamente, confermare che il servizio è stato interrotto:

   sudo systemctl status repagent

   Lo stato dovrebbe essere il seguente:

   Active: inactive (dead) since <timestamp> ago

3. Sul computer gateway Data Movement, cambiare la directory di lavoro in:

   opt/qlik/gateway/movement/drivers/bin

4. Eseguire il comando seguente:

   Sintassi:

   ./install snowflake

   Altrimenti, verrà visualizzato l'EULA del driver.

5. Effettuare una delle seguenti operazioni:

   • Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
   • Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
   • Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.

6. Effettuare una delle seguenti operazioni:

   • Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
   • Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.

   • Digitare "v" e premere [Invio] per visualizzare nuovamente l'EULA.

Il driver verrà installato.

7. Attendere il completamento dell'installazione (indicato dal messaggio "Operazione completata"), quindi avviare il servizio gateway di Data Movement:

   sudo systemctl start repagent

8. Facoltativamente, conferma che il servizio si è avviato:

   sudo systemctl status repagent

   Lo stato dovrebbe essere il seguente:

   Active: active (running) since <timestamp> ago

Aggiornamento del driver

Eseguire il comando aggiorna se si desidera disinstallare le versioni precedenti del driver prima di installare il driver fornito.

Per e aggiornare driver:

1. Arrestare il servizio gateway di Data Movement:

   sudo systemctl stop repagent

2. Facoltativamente, confermare che il servizio è stato interrotto:

   sudo systemctl status repagent

   Lo stato dovrebbe essere il seguente:

   Active: inactive (dead) since <timestamp> ago

3. Sul computer gateway Data Movement, cambiare la directory di lavoro in:

   opt/qlik/gateway/movement/drivers/bin

4. Eseguire il comando seguente:

   Sintassi:

   ./update snowflake

   Altrimenti, verrà visualizzato l'EULA del driver.

5. Effettuare una delle seguenti operazioni:

   • Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
   • Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
   • Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.

6. Effettuare una delle seguenti operazioni:

   • Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
   • Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.
   • Digitare "v" e premere [Invio] per rivedere l'EULA dall'inizio.

Il vecchio driver verrà disinstallato e il nuovo driver verrà installato.

7. Attendere il completamento dell'installazione (indicato dal messaggio "Operazione completata"), quindi avviare il servizio gateway di Data Movement:

   sudo systemctl start repagent

8. Facoltativamente, conferma che il servizio si è avviato:

   sudo systemctl status repagent

   Lo stato dovrebbe essere il seguente:

   Active: active (running) since <timestamp> ago

Disinstallazione del driver

Eseguire il comando di disinstallazione se si desidera disinstallare il driver.

Per disinstallare il driver:

1. interrompere tutte le attività configurate per utilizzare il connettore.

2. Sul computer gateway Data Movement, cambiare la directory di lavoro in:

   opt/qlik/gateway/movement/drivers/bin

3. Eseguire il comando seguente:

   Sintassi:

   ./uninstall snowflake

   Il driver verrà disinstallato.

Installazione manuale del driver

Si consiglia di tentare l'installazione manuale di driver nel caso in cui l'installazione automatizzata non venissa completata.

È necessario installare un ODBC e un driver JDBC.

Installazione del driver ODBC

1. Una volta installato Gateway di Data Movement, scaricare il file del driver snowflake-odbc-<version>x86_64.rpm elencato in binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml, quindi copiarlo nel computer di Gateway di Data Movement.
2. Installare il driver sul computer Gateway di Data Movement.

Installazione del driver JDBC

1. Scaricare il file snowflake-jdbc-<version>.jar elencato in binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml, quindi copiarlo nel computer di Gateway di Data Movement.

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Riavviare il servizio Gateway di Data Movement e verificare che sia stato avviato eseguendo i comandi descritti nella sezione Comandi di servizio del Gateway di Data Movement

Porta

La porta 443 del firewall deve essere aperta per la comunicazione in uscita.

Ottimizzazione delle prestazioni e dell'utilizzo dei servizi cloud

Limiti e considerazioni

Quando si spostano i dati su una destinazione Snowflake, si applicano le seguenti limitazioni:

• La replica delle tabelle che contengono barre rovesciate nel nome (ad es. SPECIAL\\TABLE\N) non è supportata.

Tipi di dati

La tabella seguente mostra i tipi di dati Snowflake supportati al momento di utilizzare Qlik Cloud e il mapping predefinito dai tipi di dati Qlik Cloud.

La informazioni relative tipo di dati nativo vengono mantenute e vengono visualizzate nella colonna Tipo di dati nativo nelle visualizzazioni del set di dati. Se la colonna non è visibile, è necessario aprire lo strumento di selezione delle colonne della visualizzazione del set di dati e selezionare la colonna Tipo di dati nativo.

Tipi di dati supportati

Tipi di dati Qlik Cloud	Tipi di dati Snowflake
BOOLEAN	BOOLEAN
BYTES	BINARY (lunghezza in Byte)
DATE	DATE
TIME	TIME (precisione)
DATETIME	TIMESTAMP_NTZ (precisione)
INT1	BYTEINT
INT2	SMALLINT
INT4	INTEGER
INT8	BIGINT
NUMERIC	NUMBER (precisione, scala)
REAL4	FLOAT4
REAL8	FLOAT8
UINT1	BYTEINT
UINT2	INTEGER
UINT4	INTEGER
UINT8	BIGINT
STRING	VARCHAR (lunghezza in Byte)
WSTRING	NVARCHAR (lunghezza in Byte)
BLOB	BINARY (8388608)
NCLOB	NVARCHAR (8388608)
CLOB	VARCHAR (8388608)