Vai al contenuto principale Passa a contenuto complementare
Risorse Qlik

Amazon Redshift

È possibile utilizzare Amazon Redshift come piattaforma dati per trasferire e archiviare i set di dati in Integrazione dati Qlik Cloud.

Per informazioni sulla connessione a Amazon Redshift, vedere Creazione di una connessione Amazon Redshift (solo in lingua inglese).

La configurazione di una connessione Amazon Redshift richiede anche l'impostazione della connettività a un'area di staging del cloud Amazon S3, in cui i dati e le modifiche vengono messi in scena prima di essere applicati e archiviati. Per maggiori informazioni vedere Amazon S3 (solo in lingua inglese).

Limiti e considerazioni

  • Il connettore Amazon Redshift non consente di utilizzare la modalità SSL "disattiva".

  • Il connettore Amazon Redshift supporta solo l'autenticazione standard (nome utente e password).

Prerequisiti Qlik Data Gateway - Movimento dati

è necessario soddisfare i seguenti prerequisiti sul computer gateway di Data Movement.

Configurazione del driver

È possibile installare driver utilizzando l'utilità di installazione dei driver (procedura consigliata) oppure manualmente. Si consiglia di utilizzate l'installazione manuale nel caso improbabile che si riscontrasse un problema con l'utilità di installazione dei driver.

Utilizzo dell'utilità di installazione dei driver per installare il driver

Questa sezione descrive come installare il driver richiesto. Il processo prevede l'esecuzione di uno script che scarica, installa e configura automaticamente il driver richiesto. È inoltre possibile eseguire script per aggiornare e disinstallare il driver secondo le necessità.

Preparazione dell'installazione

  • Assicurarsi che Python 3.6.x o versione successiva sia installato sul server del gateway di Movimento dati.

    Python è preinstallato nella maggior parte delle distribuzioni Linux. È possibile verificare quale versione di Python è installata sul sistema, eseguendo il seguente comando:

    python --version

Installazione di driver

Per scaricare e installare driver:

  1. Sul computer gateway Movimento dati, cambiare la directory di lavoro in:

    opt/qlik/gateway/movement/drivers/bin

  2. Eseguire il comando seguente:

    Sintassi:

    ./install redshift

    Se non è possibile scaricare driver (a causa di restrizioni di accesso o problemi tecnici), verrà visualizzato un messaggio con le istruzioni su dove scaricare il driver e copiarlo sul computer gateway Movimento dati. Una volta completata l'operazione, eseguire nuovamente il comando install redshift.

    Altrimenti, verrà visualizzato l'EULA del driver.

  3. Effettuare una delle seguenti operazioni:

    • Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
    • Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
    • Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.

  4. Effettuare una delle seguenti operazioni:

    • Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
    • Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.

    • Digitare "v" e premere [Invio] per visualizzare nuovamente l'EULA.

    5. Il driver verrà installato.

Aggiornamento del driver

Eseguire il comando aggiorna se si desidera disinstallare le versioni precedenti del driver prima di installare il driver fornito.

Per scaricare e aggiornare driver:

  1. Sul computer gateway Movimento dati, cambiare la directory di lavoro in:

    opt/qlik/gateway/movement/drivers/bin

  2. Eseguire il comando seguente:

    Sintassi:

    ./update redshift

    Se non si riesce a scaricare il driver (a causa di restrizioni di accesso o problemi tecnici), verrà visualizzato un messaggio con le istruzioni su dove scaricare il driver e copiarlo sul computer gateway Movimento dati. Una volta completata l'operazione, eseguire nuovamente il comando install redshift.

    Altrimenti, verrà visualizzato l'EULA del driver.

  3. Effettuare una delle seguenti operazioni:

    • Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
    • Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
    • Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.

  4. Effettuare una delle seguenti operazioni:

    • Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
    • Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.
    • Digitare "v" e premere [Invio] per rivedere l'EULA dall'inizio.

    5. Il vecchio driver verrà disinstallato e il nuovo driver verrà installato.

Disinstallazione del driver

Eseguire il comando di disinstallazione se si desidera disinstallare il driver.

Per disinstallare il driver:

  1. Se il gateway Movimento dati viene utilizzato per trasferire dati, interrompere tutte le attività di trasferimento. Se un gateway Movimento dati differente viene utilizzato per eseguire processi ELT sulla destinazione, interrompere tutte le relative attività (trasformazioni, archiviazione, registrazione di dati e data mart). Se un singolo gateway Movimento dati viene utilizzato per trasferire dati ed eseguire attività ELT sulla destinazione, interrompere tutte le suddette attività.

  2. Sul computer gateway Movimento dati, cambiare la directory di lavoro in:

    opt/qlik/gateway/movement/drivers/bin

  3. Eseguire il comando seguente:

    Sintassi:

    ./uninstall redshift

    Il driver verrà disinstallato.

Installazione manuale del driver

Si consiglia di tentare l'installazione manuale di driver nel caso in cui l'installazione automatizzata non venissa completata.

  1. Arrestare il servizio Data Movement gateway:

    sudo service repagent stop

  2. Facoltativamente, confermare che il servizio è stato interrotto:

    sudo service repagent status

    L'output dovrebbe essere il seguente:

    not running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

  3. Scaricare e installare gli strumenti client Linux SQL necessari per connettersi al cluster Amazon Redshift. Qlik Data Gateway - Movimento dati richiede solo Amazon Redshift ODBC Driver (x64) 1.4.65.1000.

    Scaricare il driver da:

    https://s3.amazonaws.com/redshift-downloads/drivers/odbc/1.4.65.1000/AmazonRedshiftODBC-64-bit-1.4.65.1000-1.x86_64.rpm

    Dopo l'installazione del driver ODBC, modificare il file /etc/odbcinst.ini nel modo seguente:

    [ODBC Drivers]

    Amazon Redshift (x64)=Installed

    E:

    [Amazon Redshift (x64)]

    Description=Amazon Redshift ODBC Driver (64-bit)

    Driver=/opt/amazon/redshiftodbc/lib/64/libamazonredshiftodbc64.so

  4. Avviare il servizio Data Movement gateway:

    sudo service repagent start

  5. Facoltativamente, confermare che il servizio si è avviato:

    sudo service repagent status

    L'output dovrebbe essere il seguente:

    running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

Per un elenco dei driver supportati da Amazon Redshift, vedere http://docs.aws.amazon.com/redshift/latest/mgmt/configure-odbc-connection.html.

Porta

La porta 5439 (Amazon Redshift Cluster) deve essere aperta per le comunicazioni in uscita.

Certificato CA

Data Movement gateway si connette ad AWS tramite SSL. Ciò richiede un apposito certificato CA che risieda sulla macchina Data Movement gateway; in caso contrario, la connessione non riuscirà. Lo scopo del certificato CA è autenticare la proprietà del certificato del server AWS.

Assicurarsi che il certificato CA richiesto esista nel seguente percorso sulla macchina Linux:

/etc/pki/tls/certs/ca-bundle.crt

Se non esiste, la soluzione più semplice è copiare il pacchetto di certificati da un'altra macchina Linux.

Autorizzazioni richieste

Autorizzazioni necessarie per il trasferimento dei dati ad Amazon S3

  • È necessario disporre di un bucket Amazon S3 accessibile dal computer Data Movement gateway.

    Per informazioni sull'iscrizione ad Amazon S3, vedere http://aws.amazon.com/s3/.

  • Credenziali di accesso bucket: annotare il nome del bucket, la regione, la chiave di accesso e la chiave di accesso segreta, che dovranno essere fornite nelle impostazioni di Amazon S3 connector.

  • Autorizzazioni accesso bucket: sono necessarie le seguenti autorizzazioni per l'accesso bucket:

     
    { "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }

In cui YOUR_BUCKET_NAME è il nome del bucket e target_path è la posizione prevista per i file di destinazione nel proprio bucket.

Nota informatica

Se il percorso di destinazione è la radice del bucket, è sufficiente specificare “/target_path” con una stringa vuota.

Autorizzazioni richieste sul database Redshift

Concedere le seguenti autorizzazioni sul database Redshift:

  • Concedere COPY
  • Concedere INSERT
  • Concedere UPDATE
  • Concedere DELETE
  • Concedere SELECT
  • Crea schema (richiesta solo se gli schemi non esistono e si desidera che vengano creati da Replicate)
  • Concedere CREATE TABLE
  • Concedere ALTER TABLE
  • Concedere DROP TABLE

Prerequisiti e considerazioni generali

  • Se la propria sorgente dati presenta caratteri emoji a 4 byte, utilizzare una trasformazione per convertire il tipo di dati da WSTRING(n) a WSTRING ( n*2 ).

  • Assicurarsi che le impostazioni dell'ora e del fuso orario sulla macchina Data Movement gateway siano corrette. Ciò è necessario per garantire:

    • Sincronizzazione corretta delle attività di caricamento completo e CDC
    • Correlazione dell'ora del registro delle transazioni con l'ora effettiva

Tipi di dati

La tabella seguente mostra i tipi di dati Amazon Redshift supportati al momento di utilizzare Qlik Cloud e il mapping predefinito dai tipi di dati Qlik Cloud.

Nota informaticaIn Qlik Cloud, la lunghezza delle stringhe è in caratteri, mentre in Redshift la lunghezza di varchar è in byte. Il numero di byte per carattere può variare a seconda dei caratteri utilizzati e della codifica. Qlik Cloud presuppone che ogni carattere abbia una lunghezza di 3 byte. Questo significa che quando si definisce wstring(10), la tabella in pratica verrà creata come varchar(30).
Tipi di dati supportati
Tipi di dati Qlik Cloud Tipi di dati Amazon Redshift

BOOLEAN

VARCHAR (1)

BYTES

If length is => 1 and =< 32767, then:

VARCHAR (lunghezza in Byte)

If length is => 32768and =< 2147483647, then:

VARCHAR (65535)

DATE

DATE

TIME

VARCHAR (20)

DATETIME

If scale is => 0 and =< 6, then:

TIMESTAMP

If scale is => 7 and =< 12, then:

VARCHAR (37)

INT1

INT2

INT2

INT2

INT4

INT4

INT8

INT8

NUMERIC

If scale is => 0 and =< 37, then:

NUMERIC (precisione, scala)

If scale is => 38 and =< 127, then:

VARCHAR (length)

REAL4

FLOAT4

REAL8

FLOAT8

UINT1

INT2

UINT2

INT4

UINT4

INT8

UINT8

NUMERIC (20,0)

WSTRING

If length is => 1 and =< 21845, then:

NVARCHAR (lunghezza in Byte)

If length is => 21846 and =< 2147483647, then:

NVARCHAR (65535)

BLOB

VARCHAR (Max LOB size * 2)

NCLOB

NVARCHAR (max LOB size)

CLOB

VARCHAR (max LOB size)

Hai trovato utile questa pagina?

Se riscontri problemi con questa pagina o con il suo contenuto – un errore di battitura, un passaggio mancante o un errore tecnico – facci sapere come possiamo migliorare!

Lascia qui il tuo feedback