Prerequisiti

Prima di trasferire o replicare i dati, assicurarsi di aver completato i seguenti prerequisiti:

• Installare il driver richiesto sul server del Gateway di Data Movement

  Nota informatica

  Questo è richiesto solo se si è scelto di utilizzare il Gateway di Data Movement. Per informazioni sui vantaggi del Gateway di Data Movement e quando è richiesto, vedere Qlik Data Gateway - Spostamento dati.

  Notare che il Gateway di Data Movement non è disponibile con la sottoscrizione a Avvio Qlik Talend Cloud.

• Concedere le autorizzazioni necessarie alla sorgente dati

• Configurare il connettore della sorgente dati

Configurazione del driver

È possibile installare driver utilizzando l'utilità di installazione dei driver (procedura consigliata) oppure manualmente. Si consiglia di utilizzate l'installazione manuale nel caso improbabile che si riscontrasse un problema con l'utilità di installazione dei driver.

Utilizzo dell'utilità di installazione dei driver per installare il driver

Questa sezione descrive come installare il driver richiesto. Il processo prevede l'esecuzione di uno script che scarica, installa e configura automaticamente il driver richiesto. È inoltre possibile eseguire script per aggiornare e disinstallare il driver secondo le necessità.

Preparazione dell'installazione

• Assicurarsi che Python 3.6.x o versione successiva sia installato sul server del gateway di Data Movement.

  Python è preinstallato nella maggior parte delle distribuzioni Linux. È possibile verificare quale versione di Python è installata sul sistema, eseguendo il seguente comando:

  python3 --version

Installazione di driver

Per scaricare e installare driver:

1. Sul computer gateway Data Movement, cambiare la directory di lavoro in:

   opt/qlik/gateway/movement/drivers/bin

2. Eseguire il comando seguente:

   Sintassi:

   ./install postgres

   Se non è possibile scaricare driver (a causa di restrizioni di accesso o problemi tecnici), verrà visualizzato un messaggio con le istruzioni su dove scaricare il driver e copiarlo sul computer gateway Data Movement. Una volta completata l'operazione, eseguire nuovamente il comando install postgres.

   Altrimenti, verrà visualizzato l'EULA del driver.

3. Effettuare una delle seguenti operazioni:

   • Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
   • Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
   • Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.

4. Effettuare una delle seguenti operazioni:

   • Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
   • Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.

   • Digitare "v" e premere [Invio] per visualizzare nuovamente l'EULA.

Il driver verrà installato.

Aggiornamento del driver

Eseguire il comando aggiorna se si desidera disinstallare le versioni precedenti del driver prima di installare il driver fornito.

Per scaricare e aggiornare driver:

1. Sul computer gateway Data Movement, cambiare la directory di lavoro in:

   opt/qlik/gateway/movement/drivers/bin

2. Eseguire il comando seguente:

   Sintassi:

   ./update postgres

   Se non si riesce a scaricare il driver (a causa di restrizioni di accesso o problemi tecnici), verrà visualizzato un messaggio con le istruzioni su dove scaricare il driver e copiarlo sul computer gateway Data Movement. Una volta completata l'operazione, eseguire nuovamente il comando update postgres.

   Altrimenti, verrà visualizzato l'EULA del driver.

3. Effettuare una delle seguenti operazioni:

   • Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
   • Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
   • Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.

4. Effettuare una delle seguenti operazioni:

   • Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
   • Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.
   • Digitare "v" e premere [Invio] per rivedere l'EULA dall'inizio.

Il vecchio driver verrà disinstallato e il nuovo driver verrà installato.

Disinstallazione del driver

Eseguire il comando di disinstallazione se si desidera disinstallare il driver.

Per disinstallare il driver:

1. interrompere tutte le attività configurate per utilizzare il connettore.

2. Sul computer gateway Data Movement, cambiare la directory di lavoro in:

   opt/qlik/gateway/movement/drivers/bin

3. Eseguire il comando seguente:

   Sintassi:

   ./uninstall postgres

   Il driver verrà disinstallato.

Installazione manuale del driver

Si consiglia di tentare l'installazione manuale di driver nel caso in cui l'installazione automatizzata non venissa completata.

Dopo aver installato Gateway di Data Movement, scaricare i seguenti file RPM. È possibile trovare i collegamenti di download diretto ai file in binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/postgres.yaml. Una volta completato il download, copiare i file nel computer Gateway di Data Movement.

Quando il Gateway di Data Movement è installato su Red Hat 9.x:

• postgresql<version>-libs-<version>PGDG.rhel9.x86_64.rpm
• postgresql<version>-<version>PGDG.rhel9.x86_64.rpm
• postgresql<version>-odbc-<version>PGDG.rhel9.x86_64.

Quando il Gateway di Data Movement è installato su Red Hat 8.x:

• postgresql<version>-libs-<version>PGDG.rhel8.x86_64.rpm
• postgresql<version>-<version>PGDG.rhel8.x86_64.rpm
• postgresql<version>-odbc-<version>PGDG.rhel8.x86_64.rpm

Quindi, sul server di gateway di Data Movement, aprire un prompt della shell e procedere come segue:

1. Arrestare il servizio gateway di Data Movement:

   sudo systemctl stop repagent

2. Facoltativamente, confermare che il servizio è stato interrotto:

   sudo systemctl status repagent

   Lo stato dovrebbe essere il seguente:

   Active: inactive (dead) since <timestamp> ago

3. Installare i file RPM.

4. Modifica la directory di lavoro in <gateway di Data Movement_Install_Dir>/bin.

5. Copiare la posizione del driver nel file site_arep_login.sh come descritto di seguito:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/usr/lib:/usr/lib64:/usr/pgsql-<version>/lib" >> site_arep_login.sh

   Questo aggiungerà il driver a "LD_LIBRARY_PATH" e aggiornerà la sua posizione nel file site_arep_login.sh.

6. Facoltativamente, conferma che la posizione del driver è stata copiata:

   cat site_arep_login.sh

7. Assicurarsi che il file /etc/odbcinst.ini contenga una voce per PostgreSQL, come nell'esempio seguente:

   [PostgreSQL]

   Description = PostgreSQL ODBC driver

   Driver = /usr/pgsql-13/lib/psqlodbc.so

   Setup = /usr/pgsql-13/lib/psqlodbcw.so

   UsageCount = 1

8. Avviare il servizio gateway di Data Movement:

   sudo systemctl start repagent

9. Facoltativamente, confermare che il servizio si è avviato:

   sudo systemctl status repagent

   Lo stato dovrebbe essere il seguente:

   Active: active (running) since <timestamp> ago

Porta

Per impostazione predefinita, la porta 5432 deve essere aperta per le comunicazioni in uscita sul server gateway di Data Movement. È possibile cambiarla nelle impostazioni del connettore.

Acquisizione delle modifiche da un database PostgreSQL installato dal cliente

• L'indirizzo IP della macchina Data Movement gateway deve essere aggiunto al file di configurazione pg_hba.conf con la parola chiave "replication" nel campo del database.

  Esempio:

  host replication all 176.123.1.212/32 trust

• Assicurarsi che sia installato il plug-in di output test_decoding (che si trova nel pacchetto postgresql12-contrib).

• All'utente specificato nelle impostazioni di connessione devono essere concesse autorizzazioni di lettura e scrittura al database di origine per consentire la creazione di "slot" nel database. Gli slot sono necessari per leggere le modifiche.

• I seguenti parametri e valori devono essere impostati nel file di configurazione postgresql.conf.

  wal_level = logical
  max_replication_slots = number of replication slots

  Qui, number of replication slots deve essere maggiore di uno e deve essere impostato in base al numero di attività che si desidera eseguire. Ad esempio, per eseguire cinque attività è necessario impostare max_replication_slots = 5. Gli slot si aprono automaticamente non appena viene avviata un'attività e rimangono aperti anche quando l'attività non è più in esecuzione. Si tenga presente che gli slot aperti devono essere eliminati manualmente.

  max_wal_senders = number of concurrent tasks

  Qui, number of concurrent tasks deve essere maggiore di uno e deve essere impostato in base al numero di attività in esecuzione contemporaneamente. Ad esempio, per eseguire cinque attività contemporaneamente è necessario impostare max_wal_senders = 3.

• Il parametro wal_sender_timeout termina le connessioni inattive per un periodo superiore al numero di millisecondi specificato. Il timeout predefinito è 60 secondi. Per disabilitare il meccanismo di timeout (opzionale), impostare questo parametro a zero.

  Nota informatica

  Per impostazione predefinita, il valore del parametro wal_sender_timeout viene interpretato dal server come millisecondi. Per specificare in modo esplicito i secondi, aggiungere una "s" al valore come nell'esempio seguente:

  wal_sender_timeout=60s

Per ulteriori informazioni sui parametri di configurazione, vedere la sezione Replication in Configurazione server nella Guida online di PostgreSQL.

Acquisizione delle modifiche da Amazon RDS per PostgreSQL

È possibile utilizzare l'account utente master AWS per l'istanza di database PostgreSQL come utente per l'endpoint di origine Amazon RDS for PostgreSQL. L'account utente master ha i ruoli necessari per impostare l'acquisizione dei dati di modifica (CDC, Change Data Capture).

Se si preferisce non utilizzare l'account utente master, l'account che si desidera utilizzare deve avere il ruolo rds_superuser e il ruolo rds_replication. Il ruolo rds_replication concede le autorizzazioni per la gestione degli slot logici e per lo streaming dei dati utilizzando tali slot.

Per abilitare la replica logica per un'istanza di database Amazon RDS PostgreSQL:

1. Creare un nuovo gruppo di parametri con la seguente configurazione:
   1. Impostare il parametro rds.logical_replication nel gruppo di parametri database su 1.
   2. max_wal_senders – Il numero di attività che possono essere eseguite in parallelo.
   3. max_replication_slots – Ogni connessione (ovvero attività) crea un nuovo slot; questo parametro configura la quantità di connessioni simultanee che possono essere stabilite al database.

2. Collegare l'istanza Amazon RDS al gruppo di parametri.

Acquisizione delle modifiche da Microsoft Azure per PostgreSQL

Per poter acquisire le modifiche da Microsoft Azure per PostgreSQL, è necessario impostare la proprietà "replication" su "logical", come descritto nei passaggi seguenti.

1. Aprire la CLI di Azure ed eseguire il seguente comando:

   Nota informatica

   È possibile scaricare la CLI o collegarsi tramite un comando di shell sul portale Azure.

   Sintassi:

   az postgres server configuration set --resource-group resource-group --server-name server-name --name azure.replication_support --value logical

   Esempio:

   az postgres server configuration set --resource-group azuredb --server-name qlik-azure-pg --name azure.replication_support --value logical

    

2. Riavviare il database (tramite la riga di comando o il portale).

Acquisizione delle modifiche da Google Cloud SQL per PostgreSQL

Per poter acquisire le modifiche dal database, è necessario configurare la replica logica.

Per configurare la replica logica, eseguire le operazioni eseguite di seguito.

1. Sulla piattaforma Google Cloud, impostare i seguenti indicatori nelle impostazioni PostgreSQL.

   • cloudsql.logical_decoding=on
   • max_replication_slots: ogni connessione (ovvero attività) crea un nuovo slot; questo parametro configura la quantità di connessioni simultanee che possono essere stabilite al database. In caso di problemi nelle prestazioni, può essere utile aumentare questo valore.
   • max_wal_senders: il numero di attività che possono essere eseguite in parallelo. In caso di problemi nelle prestazioni, può essere utile aumentare questo valore.

   Per maggiori informazioni su questi parametri, vedere https://www.postgresql.org/docs/current/runtime-config-replication.html

2. Sul database, modificare l'utente specificato nelle impostazioni connector (username) per supportare la replica:

   ALTER USER username WITH REPLICATION;