Google BigQuery

È possibile utilizzare Google BigQuery come piattaforma dati per trasferire e archiviare i set di dati.

Le seguenti proprietà di connessione vengono impostate quando si crea una connessione dati in Integrazione dati Qlik Cloud e non possono essere modificate:

• OAuth Mechanism è impostato su Service Authentication.

• Allow non-Select queries è abilitato.

• Enable Bulk Reader è disabilitato.

Per ulteriori informazioni sulla connessione a Google BigQuery, vedere Creazione di una connessione Google BigQuery (solo in lingua inglese).

Serve anche un'area di gestione temporanea del cloud di Google Cloud Storage in cui i dati e le modifiche vengono archiviati temporaneamente prima di essere applicati e archiviati. Per ulteriori informazioni, vedere Google Cloud Storage (solo in lingua inglese).

Autorizzazioni necessarie per il trasferimento dei dati

Quando si crea una chiave dell'account del servizio, sul proprio computer verrà scaricato un file JSON contenente le informazioni di connessione. Se si sceglie Autenticazione del servizio come meccanismo OAuth, occorrerà cercare il file JSON scaricato.

Autorizzazioni necessarie per creare automaticamente la serie di dati di destinazione:

Se si desidera che la serie di dati venga creata automaticamente, sono necessarie le seguenti autorizzazioni:

BigQuery > Utente processo BigQuery

BigQuery > Editor di dati BigQuery

Autorizzazioni richieste quando la serie di dati di destinazione esiste già:

Se la set di dati esiste già, è necessario eseguire i seguenti passaggi:

1. Creare un account del servizio con la seguente autorizzazione:

   BigQuery > Utente processo BigQuery

2. Passare alla serie di dati che si desidera utilizzare, quindi:

   1. Aggiungere l'account del servizio appena creato come principale.

   2. Assegnare il ruolo di Editor di dati BigQuery.

Posizione

Le connessioni dati Google Cloud BigQuery sono configurate per impostazione predefinita con una posizione negli Stati Uniti. Se si desidera utilizzare una posizione diversa, sarà necessario impostarla nelle proprietà della connessione dati.

1. Modificare la connessione dati.

2. Aggiungere una proprietà denominata posizione sotto Avanzate.

3. Impostare il valore della proprietà sulla posizione che si desidera utilizzare.

4. Fare clic su Salva.

Prerequisiti Qlik Data Gateway - Movimento dati

è necessario soddisfare i seguenti prerequisiti sul computer gateway di Data Movement.

Configurazione del driver

È possibile installare driver utilizzando l'utilità di installazione dei driver (procedura consigliata) oppure manualmente. Si consiglia di utilizzate l'installazione manuale nel caso improbabile che si riscontrasse un problema con l'utilità di installazione dei driver.

Utilizzo dell'utilità di installazione dei driver per installare il driver

Questa sezione descrive come installare il driver richiesto. Il processo prevede l'esecuzione di uno script che scarica, installa e configura automaticamente il driver richiesto. È inoltre possibile eseguire script per aggiornare e disinstallare il driver secondo le necessità.

Preparazione dell'installazione

• Assicurarsi che Python 3.6.x o versione successiva sia installato sul server del gateway di Movimento dati.

  Python è preinstallato nella maggior parte delle distribuzioni Linux. È possibile verificare quale versione di Python è installata sul sistema, eseguendo il seguente comando:

  python --version

Installazione di driver

Per scaricare e installare driver:

1. Arrestare il servizio di Data Movement gateway:

   sudo service repagent stop

2. Facoltativamente, confermare che il servizio è stato interrotto:

   sudo service repagent status

   L'output dovrebbe essere il seguente:

   not running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

3. Sul computer gateway Movimento dati, cambiare la directory di lavoro in:

   opt/qlik/gateway/movement/drivers/bin

4. Eseguire il comando seguente:

   Sintassi:

   ./install gbq

   Se non è possibile scaricare driver (a causa di restrizioni di accesso o problemi tecnici), verrà visualizzato un messaggio con le istruzioni su dove scaricare il driver e copiarlo sul computer gateway Movimento dati. Una volta completata l'operazione, eseguire nuovamente il comando install gbq.

   Altrimenti, verrà visualizzato l'EULA del driver.

5. Effettuare una delle seguenti operazioni:

   • Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
   • Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
   • Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.

6. Effettuare una delle seguenti operazioni:

   • Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
   • Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.

   • Digitare "v" e premere [Invio] per visualizzare nuovamente l'EULA.

Il driver verrà installato.

7. Attendere il completamento dell'installazione (indicato dal messaggio "Operazione completata"), quindi avviare il servizio Data Movement gateway:

   sudo service repagent start

8. Facoltativamente, conferma che il servizio si è avviato:

   sudo service repagent status

   L'output dovrebbe essere il seguente:

   running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

Aggiornamento del driver

Eseguire il comando aggiorna se si desidera disinstallare le versioni precedenti del driver prima di installare il driver fornito.

Per scaricare e aggiornare driver:

1. Arrestare il servizio di Data Movement gateway:

   sudo service repagent stop

2. Facoltativamente, confermare che il servizio è stato interrotto:

   sudo service repagent status

   L'output dovrebbe essere il seguente:

   not running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

3. Sul computer gateway Movimento dati, cambiare la directory di lavoro in:

   opt/qlik/gateway/movement/drivers/bin

4. Eseguire il comando seguente:

   Sintassi:

   ./update gbq

   Se non si riesce a scaricare il driver (a causa di restrizioni di accesso o problemi tecnici), verrà visualizzato un messaggio con le istruzioni su dove scaricare il driver e copiarlo sul computer gateway Movimento dati. Una volta completata l'operazione, eseguire nuovamente il comando install gbq.

   Altrimenti, verrà visualizzato l'EULA del driver.

5. Effettuare una delle seguenti operazioni:

   • Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
   • Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
   • Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.

6. Effettuare una delle seguenti operazioni:

   • Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
   • Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.
   • Digitare "v" e premere [Invio] per rivedere l'EULA dall'inizio.

Il vecchio driver verrà disinstallato e il nuovo driver verrà installato.

7. Attendere il completamento dell'installazione (indicato dal messaggio "Operazione completata"), quindi avviare il servizio Data Movement gateway:

   sudo service repagent start

8. Facoltativamente, conferma che il servizio si è avviato:

   sudo service repagent status

   L'output dovrebbe essere il seguente:

   running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

Disinstallazione del driver

Eseguire il comando di disinstallazione se si desidera disinstallare il driver.

Per disinstallare il driver:

1. Se il gateway Movimento dati viene utilizzato per trasferire dati, interrompere tutte le attività di trasferimento. Se un gateway Movimento dati differente viene utilizzato per eseguire processi ELT sulla destinazione, interrompere tutte le relative attività (trasformazioni, archiviazione, registrazione di dati e data mart). Se un singolo gateway Movimento dati viene utilizzato per trasferire dati ed eseguire attività ELT sulla destinazione, interrompere tutte le suddette attività.

2. Sul computer gateway Movimento dati, cambiare la directory di lavoro in:

   opt/qlik/gateway/movement/drivers/bin

3. Eseguire il comando seguente:

   Sintassi:

   ./uninstall gbq

   Il driver verrà disinstallato.

Installazione manuale del driver

Si consiglia di tentare l'installazione manuale di driver nel caso in cui l'installazione automatizzata non venissa completata.

1. Scaricare Simba ODBC driver versione 2.3.3.1005 nella macchina Data Movement gateway.

2. Arrestare il servizio di Data Movement gateway:

   sudo service repagent stop

3. Facoltativamente, confermare che il servizio è stato interrotto:

   sudo service repagent status

L'output dovrebbe essere il seguente:

not running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

4. Estrarre:

   SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005.tar.gz

   in:

   /opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux

5. Spostare i file GoogleBigQueryODBC.did e simba.googlebigqueryodbc.ini nella directory lib sotto la directory Simba ODBC driver.

   Esempio:

   Spostare i file da

   /opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/setup

   a:

   /opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005/lib

6. Modificare il file simba.googlebigqueryodbc.ini come segue:

   1. Modificare il ErrorMessagesPath nel percorso del file XML contenente i messaggi ODBC. La posizione predefinita è:

      ErrorMessagesPath=/opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005/ErrorMessages

   2. Modificare DriverManagerEncoding in UTF-16.

7. Aggiungere il seguente percorso al file site_arep_login.sh che si trova nella directory bin Data Movement gateway:

   export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005/lib

8. Modificare il file /etc/odbcinst.ini e aggiungere il percorso del driver (ovvero il percorso in cui è installato il driver):

   [ODBC Drivers]

   Simba= Installed

   Simba ODBC Driver for Google BigQuery = Installed

   [Simba ODBC Driver for Google BigQuery]

   Description=Simba ODBC Driver for Google BigQuery(64-bit)

   Driver=/opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005/lib/libgooglebigqueryodbc_sb64.so

9. Scaricare e installare Google Cloud SDK 402.0.0 per Linux sulla macchina Data Movement gateway.

10. Avviare il servizio Data Movement gateway.

    sudo service repagent start

11. Facoltativamente, confermare che il servizio si è avviato:

    sudo service repagent status

    L'output dovrebbe essere il seguente:

    running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

Porta

La porta 443 del firewall deve essere aperta per la comunicazione in uscita.

Tipi di dati

I tipi di dati parametrizzati verranno impostati con valori predefiniti:

• STRING: 8192 (lunghezza)

• BYTES: 8192 (lunghezza)

• NUMERIC: Precisione: 38, Scala: 9

• BIGDECIMAL: Precisione: 76, Scala: 38

La tabella seguente mostra i tipi di dati Google BigQuery supportati al momento di utilizzare Qlik Cloud e il mapping predefinito dai tipi di dati Qlik Cloud.