Vai al contenuto principale Passa a contenuto complementare
Risorse Qlik

Amazon Redshift

È possibile utilizzare Amazon Redshift come piattaforma dati di destinazione in una pipeline di dati o in un'attività di replica. In una pipeline di dati, è possibile eseguire diverse operazioni ELT nella piattaforma di destinazione, tra cui archiviare i dati, trasformarli, creare data mart e registrare i dati. Un'attività di replica, d'altra parte, include la replica dei dati direttamente da un sistema di origine a un sistema di destinazione con funzionalità di trasformazione di base, ma senza il supporto delle operazioni ELT.

Per l'impostazione di Amazon Redshift come destinazione sono necessari i seguenti elementi:

Configurazione di un'area di staging cloud

Nota informaticaSe si desidera registrare dati esistenti, non è necessario configurare un'area di staging cloud.

La configurazione di una connessione Amazon Redshift richiede anche l'impostazione della connettività a un'area di staging del cloud Amazon S3, in cui i dati e le modifiche vengono messi in scena prima di essere applicati e archiviati.

Per informazioni su come configurare una connessione ad Amazon S3, vedere Amazon S3.

Configurazione di una connessione a Amazon Redshift

Una volta fornite le impostazioni di staging, procedere come indicato di seguito:

  1. In Connessioni, fare clic su Crea connessione.

  2. Selezionare il connettore Amazon Redshift di destinazione, quindi fornire le seguenti impostazioni:

Destinazione dati

Gateway dati

Nota informaticaQuesto campo non è disponibile con la sottoscrizione a Avvio Qlik Talend Cloud, poiché il Gateway di Data Movement non è supportato con i livelli di sottoscrizione.

È richiesto un Gateway di Data Movement solo se non è possibile accedere al database di destinazione da Qlik Cloud ed è possibile accedervi solo utilizzando un Private Link (ad esempio, se è posizionato in loco e protetto da firewall o in un Virtual Private Cloud). In questo caso, selezionare il Gateway di Data Movement che si desidera utilizzare per accedere al database di destinazione.

A seconda del caso di utilizzo, questo sarà lo stesso Gateway di Data Movement distribuito per spostare i dati da una sorgente dati, oppure uno differente.

Per informazioni sui casi di utilizzo del Gateway di Data Movement, vedere Quando è richiesto il Gateway di Data Movement? e Casi di utilizzo comuni.

Se il database di destinazione è accessibile direttamente da Qlik Cloud, selezionare Nessuno.

Nota informaticaQuando si accede al database di destinaezione tramite Gateway di Data Movement, è necessario anche installare il driver appropriato sul computer Gateway di Data Movement. Per dettagli, vedere Configurazione del driver qui sotto.

Proprietà di connessione

  • Server: il nome host del server del database di Amazon Redshift.

  • Porta: la porta che si desidera utilizzare per accedere al database Amazon Redshift. Il valore predefinito è 5439.

Proprietà dell'account

Nome utente e Password: il nome utente e la password di un utente autorizzato ad accedere al database di Amazon Redshift.

Proprietà del database

  • Nome database: per specificare un database, è possibile utilizzare i due metodi descritti di seguito.

    • Metodo 1 - Selezione da un elenco: Fare clic su Carica database, quindi selezionare un database.
    • Metodo 2 - Manualmente: selezionare Inserisci nome database manualmente, quindi inserire il nome del database.

Proprietà interne

Le proprietà interne servono per casi d'uso speciali e pertanto non vengono visualizzate nella finestra di dialogo. Gli utenti devono utilizzarle solo se indicato dal Supporto di Qlik.

Usare i pulsanti Crea nuovo e Annulla a destra del campo per aggiungere o rimuovere proprietà in base alle esigenze.

Nome

Il nome visualizzato per la connessione.

Prerequisiti

Autorizzazioni richieste

Concedere le seguenti autorizzazioni sul database Redshift:

  • Concedere COPY
  • Concedi INSERT
  • Concedi UPDATE
  • Concedere DELETE
  • Concedere SELECT
  • Creare schema (richiesta solo se gli schemi non esistono e si desidera che vengano creati da Qlik Talend Data Integration)
  • Concedere CREATE tabella
  • Concedere ALTER tabella
  • Concedere DROP tabella

Configurazione del driver

Un driver è necessario solo se si accede al database tramite Gateway di Data Movement. In tale caso, è necessario installare il driver sul computer Gateway di Data Movement.

È possibile installare driver utilizzando l'utilità di installazione dei driver (procedura consigliata) oppure manualmente. Si consiglia di utilizzate l'installazione manuale nel caso improbabile che si riscontrasse un problema con l'utilità di installazione dei driver.

Utilizzo dell'utilità di installazione dei driver per installare il driver

Questa sezione descrive come installare il driver richiesto. Il processo prevede l'esecuzione di uno script che scarica, installa e configura automaticamente il driver richiesto. È inoltre possibile eseguire script per aggiornare e disinstallare il driver secondo le necessità.

Preparazione dell'installazione

  • Assicurarsi che Python 3.6.x o versione successiva sia installato sul server del gateway di Data Movement.

    Python è preinstallato nella maggior parte delle distribuzioni Linux. È possibile verificare quale versione di Python è installata sul sistema, eseguendo il seguente comando:

    python3 --version

Installazione di driver

Per scaricare e installare driver:

  1. Arrestare il servizio gateway di Data Movement:

    sudo systemctl stop repagent

  2. Facoltativamente, confermare che il servizio è stato interrotto:

    sudo systemctl status repagent

    Lo stato dovrebbe essere il seguente:

    Active: inactive (dead) since <timestamp> ago

  3. Sul computer gateway Data Movement, cambiare la directory di lavoro in:

    opt/qlik/gateway/movement/drivers/bin

  4. Eseguire il comando seguente:

    Sintassi:

    ./install redshift

    Se non è possibile scaricare driver (a causa di restrizioni di accesso o problemi tecnici), verrà visualizzato un messaggio con le istruzioni su dove scaricare il driver e copiarlo sul computer gateway Data Movement. Una volta completata l'operazione, eseguire nuovamente il comando install redshift.

    Altrimenti, verrà visualizzato l'EULA del driver.

  5. Effettuare una delle seguenti operazioni:

    • Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
    • Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
    • Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.

  6. Effettuare una delle seguenti operazioni:

    • Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
    • Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.

    • Digitare "v" e premere [Invio] per visualizzare nuovamente l'EULA.

    7. Il driver verrà installato.

  7. Attendere il completamento dell'installazione (indicato dal messaggio "Operazione completata"), quindi avviare il servizio gateway di Data Movement:

    sudo systemctl start repagent

  8. Facoltativamente, conferma che il servizio si è avviato:

    sudo systemctl status repagent

    Lo stato dovrebbe essere il seguente:

    Active: active (running) since <timestamp> ago

Aggiornamento del driver

Eseguire il comando aggiorna se si desidera disinstallare le versioni precedenti del driver prima di installare il driver fornito.

Per scaricare e aggiornare driver:

  1. Arrestare il servizio gateway di Data Movement:

    sudo systemctl stop repagent

  2. Facoltativamente, confermare che il servizio è stato interrotto:

    sudo systemctl status repagent

    Lo stato dovrebbe essere il seguente:

    Active: inactive (dead) since <timestamp> ago

  3. Sul computer gateway Data Movement, cambiare la directory di lavoro in:

    opt/qlik/gateway/movement/drivers/bin

  4. Eseguire il comando seguente:

    Sintassi:

    ./update redshift

    Se non si riesce a scaricare il driver (a causa di restrizioni di accesso o problemi tecnici), verrà visualizzato un messaggio con le istruzioni su dove scaricare il driver e copiarlo sul computer gateway Data Movement. Una volta completata l'operazione, eseguire nuovamente il comando update redshift.

    Altrimenti, verrà visualizzato l'EULA del driver.

  5. Effettuare una delle seguenti operazioni:

    • Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
    • Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
    • Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.

  6. Effettuare una delle seguenti operazioni:

    • Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
    • Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.
    • Digitare "v" e premere [Invio] per rivedere l'EULA dall'inizio.

    7. Il vecchio driver verrà disinstallato e il nuovo driver verrà installato.

  7. Attendere il completamento dell'installazione (indicato dal messaggio "Operazione completata"), quindi avviare il servizio gateway di Data Movement:

    sudo systemctl start repagent

  8. Facoltativamente, conferma che il servizio si è avviato:

    sudo systemctl status repagent

    Lo stato dovrebbe essere il seguente:

    Active: active (running) since <timestamp> ago

Disinstallazione del driver

Eseguire il comando di disinstallazione se si desidera disinstallare il driver.

Per disinstallare il driver:

  1. interrompere tutte le attività configurate per utilizzare il connettore.

  2. Sul computer gateway Data Movement, cambiare la directory di lavoro in:

    opt/qlik/gateway/movement/drivers/bin

  3. Eseguire il comando seguente:

    Sintassi:

    ./uninstall redshift

    Il driver verrà disinstallato.

Installazione manuale del driver

Si consiglia di tentare l'installazione manuale di driver nel caso in cui l'installazione automatizzata non venissa completata.

  1. Arrestare il servizio gateway di Data Movement:

    sudo systemctl stop repagent

  2. Facoltativamente, confermare che il servizio è stato interrotto:

    sudo systemctl status repagent

    3. Lo stato dovrebbe essere il seguente:

    Active: inactive (dead) since <timestamp> ago

  3. Scaricare e installare gli strumenti client Linux SQL necessari per connettersi al cluster Amazon Redshift. Qlik Data Gateway - Spostamento dati richiede solo Amazon Redshift ODBC Driver (x64) 1.4.65.1000.

    Scaricare il driver da:

    https://s3.amazonaws.com/redshift-downloads/drivers/odbc/1.4.65.1000/AmazonRedshiftODBC-64-bit-1.4.65.1000-1.x86_64.rpm

    Dopo l'installazione del driver ODBC, modificare il file /etc/odbcinst.ini nel modo seguente:

    [ODBC Drivers]

    Amazon Redshift (x64)=Installed

    E:

    [Amazon Redshift (x64)]

    Description=Amazon Redshift ODBC Driver (64-bit)

    Driver=/opt/amazon/redshiftodbc/lib/64/libamazonredshiftodbc64.so

  4. Avviare il servizio gateway di Data Movement:

    sudo systemctl start repagent

  5. Facoltativamente, confermare che il servizio si è avviato:

    sudo systemctl status repagent

    Lo stato dovrebbe essere il seguente:

    Active: active (running) since <timestamp> ago

Per un elenco dei driver supportati da Amazon Redshift, vedere http://docs.aws.amazon.com/redshift/latest/mgmt/configure-odbc-connessione.html.

Porta

La porta 5439 (Amazon Redshift Cluster) deve essere aperta per le comunicazioni in uscita.

Certificato CA

gateway di Data Movement si connette ad AWS tramite SSL. Ciò richiede un apposito certificato CA che risieda sulla macchina gateway di Data Movement; in caso contrario, la connessione non riuscirà. Lo scopo del certificato CA è autenticare la proprietà del certificato del server AWS.

Assicurarsi che il certificato CA richiesto esista nel seguente percorso sulla macchina Linux:

/etc/pki/tls/certs/ca-bundle.crt

Se non esiste, la soluzione più semplice è copiare il pacchetto di certificati da un'altra macchina Linux.

Prerequisiti e considerazioni generali

  • Se la propria sorgente dati presenta caratteri emoji a 4 byte, utilizzare una trasformazione per convertire il tipo di dati da WSTRING(n) a WSTRING ( n*2 ).

  • Assicurarsi che le impostazioni dell'ora e del fuso orario sulla macchina gateway di Data Movement siano corrette. Ciò è necessario per garantire:

    • Sincronizzazione corretta delle attività di caricamento completo e CDC
    • Correlazione dell'ora del registro delle transazioni con l'ora effettiva

  • Non è possibile leggere le visualizzazioni live e le visualizzazioni cronologia in Servizi di analisi Qlik Cloud dai set di dati creati in una destinazione Amazon Redshift da Qlik Talend Data Integration.

Limiti e considerazioni

  • Il connettore Amazon Redshift supporta solo l'autenticazione standard (nome utente e password).

Tipi di dati

La tabella seguente mostra i tipi di dati Amazon Redshift supportati al momento di utilizzare Qlik Cloud e il mapping predefinito dai tipi di dati Qlik Cloud.

La informazioni relative tipo di dati nativo vengono mantenute e vengono visualizzate nella colonna Tipo di dati nativo nelle visualizzazioni del set di dati. Se la colonna non è visibile, è necessario aprire lo strumento di selezione delle colonne della visualizzazione del set di dati e selezionare la colonna Tipo di dati nativo.

Nota informaticaIn Qlik Cloud, la lunghezza delle stringhe è in caratteri, mentre in Redshift la lunghezza di varchar è in byte. Il numero di byte per carattere può variare a seconda dei caratteri utilizzati e della codifica. Qlik Cloud presuppone che ogni carattere abbia una lunghezza di 3 byte. Questo significa che quando si definisce wstring(10), la tabella in pratica verrà creata come varchar(30).
Tipi di dati supportati
Tipi di dati Qlik Cloud Tipi di dati Amazon Redshift

BOOLEAN

BOOLEAN

BYTES

VARBINARY(length)

DATE

DATE

TIME

VARCHAR (20)

DATETIME

Se la scala è => 0 e =< 6, allora:

TIMESTAMP

Se la scala è => 7 e =< 12, allora:

VARCHAR (37)

INT1

INT2

INT2

INT2

INT4

INT4

INT8

INT8

NUMERIC

Se la scala è => 0 e =< 37, allora:

NUMERIC (precisione, scala)

Se la scala è => 38 e =< 127, allora:

VARCHAR (lunghezza)

REAL4

FLOAT4

REAL8

FLOAT8

STRING

Se la lunghezza è => 1 e =< 65535, allora:

VARCHAR (lunghezza in Byte)

Se la lunghezza è => 65535 e =< 2147483647, allora:

VARCHAR (65535)

UINT1

INT2

UINT2

INT4

UINT4

INT8

UINT8

NUMERIC (20,0)

WSTRING

Se la lunghezza è => 1 e =< 21845, allora:

NVARCHAR (lunghezza in Byte)

If length is => 21846 and =< 2147483647, then:

VARCHAR (65535)

BLOB

VARBYTE (16777216)

NCLOB

VARCHAR (65535)

CLOB

VARCHAR (65535)

I seguenti tipi di dati SQL Server non sono supportati. I dati non saranno letti.

  • HLLSKETCH

I seguenti tipi di dati vengono convertiti in VARCHAR (65535):

  • GEOGRAPHY

  • GEOMETRY

Hai trovato utile questa pagina?

Se riscontri problemi con questa pagina o con il suo contenuto – un errore di battitura, un passaggio mancante o un errore tecnico – facci sapere come possiamo migliorare!

Lascia qui il tuo feedback