Prerequisiti
Prima di trasferire o replicare i dati, assicurarsi di aver completato i seguenti prerequisiti:
-
Installare il driver richiesto sul server del Gateway di Data Movement
Nota informaticaQuesto è richiesto solo se si è scelto di utilizzare il Gateway di Data Movement. Per informazioni sui vantaggi del Gateway di Data Movement e quando è richiesto, vedere Qlik Data Gateway - Spostamento dati.
Notare che il Gateway di Data Movement non è disponibile con la sottoscrizione a Avvio Qlik Talend Cloud.
-
Concedere le autorizzazioni necessarie alla sorgente dati
-
Configurare il connettore della sorgente dati
Edizioni supportate
Sono supportate le seguenti edizioni di MySQL:
- MySQL Community Edition
- MySQL Standard Edition
- MySQL Enterprise Edition
- MySQL Cluster Carrier Grade Edition
Configurazione del driver
È possibile installare driver utilizzando l'utilità di installazione dei driver (procedura consigliata) oppure manualmente. Si consiglia di utilizzate l'installazione manuale nel caso improbabile che si riscontrasse un problema con l'utilità di installazione dei driver.
Utilizzo dell'utilità di installazione dei driver per installare il driver
Questa sezione descrive come installare il driver richiesto. Il processo prevede l'esecuzione di uno script che scarica, installa e configura automaticamente il driver richiesto. È inoltre possibile eseguire script per aggiornare e disinstallare il driver secondo le necessità.
Preparazione dell'installazione
-
Assicurarsi che Python 3.6.x o versione successiva sia installato sul server del gateway di Data Movement.
Python è preinstallato nella maggior parte delle distribuzioni Linux. È possibile verificare quale versione di Python è installata sul sistema, eseguendo il seguente comando:
python3 --version
Installazione di driver
Per scaricare e installare driver:
-
Sul computer gateway Data Movement, cambiare la directory di lavoro in:
opt/qlik/gateway/movement/drivers/bin
-
Eseguire il comando seguente:
Sintassi:
./install mysql
Se non è possibile scaricare driver (a causa di restrizioni di accesso o problemi tecnici), verrà visualizzato un messaggio con le istruzioni su dove scaricare il driver e copiarlo sul computer gateway Data Movement. Una volta completata l'operazione, eseguire nuovamente il comando install mysql.
Altrimenti, verrà visualizzato l'EULA del driver.
-
Effettuare una delle seguenti operazioni:
- Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
- Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
- Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.
-
Effettuare una delle seguenti operazioni:
- Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
- Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.
-
Digitare "v" e premere [Invio] per visualizzare nuovamente l'EULA.
Il driver verrà installato.
Aggiornamento del driver
Eseguire il comando aggiorna se si desidera disinstallare le versioni precedenti del driver prima di installare il driver fornito.
Per scaricare e aggiornare driver:
-
Sul computer gateway Data Movement, cambiare la directory di lavoro in:
opt/qlik/gateway/movement/drivers/bin
-
Eseguire il comando seguente:
Sintassi:
./update mysql
Se non si riesce a scaricare il driver (a causa di restrizioni di accesso o problemi tecnici), verrà visualizzato un messaggio con le istruzioni su dove scaricare il driver e copiarlo sul computer gateway Data Movement. Una volta completata l'operazione, eseguire nuovamente il comando update mysql.
Altrimenti, verrà visualizzato l'EULA del driver.
-
Effettuare una delle seguenti operazioni:
- Premere ripetutamente [Invio] per scorrere lentamente l'EULA.
- Premere ripetutamente la barra spaziatrice per scorrere rapidamente l'EULA.
- Premere q per uscire dal testo della licenza e visualizzare le opzioni di accettazione dell'EULA.
-
Effettuare una delle seguenti operazioni:
- Digitare "y" e premere [Invio] per accettare l'EULA e avviare l'installazione.
- Digitare "n" e premere [Invio] per rifiutare l'EULA e uscire dall'installazione.
- Digitare "v" e premere [Invio] per rivedere l'EULA dall'inizio.
Il vecchio driver verrà disinstallato e il nuovo driver verrà installato.
Disinstallazione del driver
Eseguire il comando di disinstallazione se si desidera disinstallare il driver.
Per disinstallare il driver:
-
interrompere tutte le attività configurate per utilizzare il connettore.
-
Sul computer gateway Data Movement, cambiare la directory di lavoro in:
opt/qlik/gateway/movement/drivers/bin
-
Eseguire il comando seguente:
Sintassi:
./uninstall mysql
Il driver verrà disinstallato.
Installazione manuale del driver
Si consiglia di tentare l'installazione manuale di driver nel caso in cui l'installazione automatizzata non venissa completata.
Dopo aver installato Gateway di Data Movement, scaricare il driver mysql-connector-odbc-<version>.x86_64.rpm. È possibile trovare un collegamento di download diretto alla versione supportata in binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/mysql.yaml. Una volta completato il download, copiare il file RPM nel computer Gateway di Data Movement.
Quindi, sul server di gateway di Data Movement, aprire un prompt della shell e procedere come segue:
-
Arrestare il servizio gateway di Data Movement:
sudo systemctl stop repagent
-
Facoltativamente, confermare che il servizio è stato interrotto:
sudo systemctl status repagent
Lo stato dovrebbe essere il seguente:
Active: inactive (dead) since <timestamp> ago
- Installare il driver sulla macchina gateway di Data Movement.
-
Modifica la directory di lavoro in <gateway di Data Movement_Install_Dir>/bin.
-
Copia la posizione del driver nel file site_arep_login.sh:
echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/usr/lib64" >> site_arep_login.sh
Questo aggiungerà il driver a "LD_LIBRARY_PATH" e aggiornerà la sua posizione nel file site_arep_login.sh.
-
Facoltativamente, conferma che la posizione del driver è stata copiata:
cat site_arep_login.sh
-
Assicurarsi che il file /etc/odbcinst.ini contenga una voce per MySQL, come nell'esempio seguente:
[MySQL ODBC 8.0 Unicode Driver]
Driver = /usr/lib64/libmyodbc8w.so
UsageCount = 1
-
Avviare il servizio gateway di Data Movement:
sudo systemctl start repagent
-
Facoltativamente, confermare che il servizio si è avviato:
sudo systemctl status repagent
Lo stato dovrebbe essere il seguente:
Active: active (running) since <timestamp> ago
Porta
Per impostazione predefinita, la porta 3306 deve essere aperta per le comunicazioni in uscita sul server gateway di Data Movement. È possibile cambiarla nelle impostazioni del connettore.
Prerequisiti generali
Assicurarsi che siano stati soddisfatti i seguenti prerequisiti:
- Un account MySQL con i Autorizzazioni richieste.
- MySQL 8: autenticazione standard per l'acquisizione delle modifiche
-
Le versioni certificate di MySQL supportano il valore frazionario per i tipi di dati temporali (introdotto in MySQL 5.6). Di conseguenza, il spostamento del vecchio formato del tipo di dati temporali non è più supportato.
Nota informaticaSi noti che l'aggiornamento a versioni di MySQL che supportano il valore frazionario per i tipi di dati temporali non aggiorna automaticamente il formato del tipo di dati temporali. Ciò va fatto separatamente. Questo vale anche per l'aggiornamento da MariaDB 10.1. Per istruzioni sull'aggiornamento del formato del tipo di dati temporali, vedere la guida in linea del fornitore.
Acquisizione delle modifiche da un database MySQL installato dal cliente
La sezione seguente descrive i requisiti per acquisire le modifiche da un database MySQL locale
Abilita la registrazione binaria
Per abilitare la registrazione binaria (necessaria per spostamento di CDC), è necessario configurare i seguenti parametri nei file di MySQL my.ini (Windows) o my.cnf(UNIX).
Parametro | Valore |
---|---|
server_id |
Qualsiasi valore da 1. Esempio: server_id=1 |
log-bin=<percorso> |
Percorso del file di registro binario (senza estensione). Esempio: log-bin=E:\MySql_Logs\BinLog |
binlog_format |
Deve essere: binlog_format=row |
expire_logs_days |
Per evitare problemi di spazio sul disco, si consiglia vivamente di non utilizzare il valore predefinito (0). Esempio: expire_logs_days=5 |
binlog_row_image |
Deve essere: binlog_row_image=full |
Prerequisiti del cluster
Per poter Sposta tabelle con cluster (NDB) (connettendosi a uno qualsiasi dei nodi del cluster), è necessario configurare i seguenti parametri nei file my.ini (Windows) o my.cnf (UNIX) di MySQL.
Quando si utilizza Percona come sorgente, non è necessario eseguire le procedure descritte in questa sezione.
Parametro | Valore |
---|---|
ndb_log_bin |
Deve essere: ndb_log_bin=on Garantisce che le modifiche nelle tabelle raggruppate in vengano registrate nel registro binario. |
ndb_log_update_as_write |
Deve essere: ndb_log_update_as_write=OFF Impedisce che gli UPDATE vengano scritti come INSERT nel registro binario. |
ndb_log_updated_only |
Deve essere: ndb_log_updated_only=OFF Garantisce che il registro binario contenga l'intera riga e non solo le colonne modificate. |
Acquisizione delle modifiche da Google Cloud per MySQL
Registrazione binaria
La registrazione binaria è necessaria per acquisire le modifiche. Per verificare che la registrazione binaria sia abilitata (impostazione predefinita), assicurarsi che il parametro binlog_row_image
del database sia impostato su full
.
Replica
La funzione di replica consente di copiare i dati dal server del database primario su uno o più server secondari.
I dati possono essere trasferiti da un server primario o da un server secondario.
Per acquisire modifiche da un server secondario, il parametro di registrazione binaria log_slave_updates
deve essere impostato su true
(1
).
Lettura di approfondimento: https://cloud.google.com/sql/docs/mysql/replication
Acquisizione delle modifiche da Amazon RDS per MySQL e Amazon Aurora per MySQL
Registrazione binaria
Per configurare Amazon RDS for MySQL o Amazon Aurora for MySQL for CDC:
-
Seguire le istruzioni della Guida di AWS per creare un nuovo gruppo di parametri (vedere la sezione Formato di registrazione binario).
-
Al momento di creare il nuovo gruppo di parametri, impostare:
binlog_format=row
- Salvare il nuovo gruppo di parametri.
- Se si dispone di un'istanza esistente di Amazon RDS for MySQL, modificarla in modo da utilizzare il parametro specificato al punto 2 precedente. Se si sta effettuando il provisioning di una nuova istanza di Amazon RDS for MySQL, fare riferimento al nuovo gruppo di parametri creato al punto 1 sopra.
- Infine, assicurarsi che il backup automatico sia abilitato (impostazione predefinita).
Ulteriori informazioni: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_LogAccess.MySQL.BinaryFormat.html
Replica
La funzione di replica consente di copiare i dati dal server del database primario su uno o più server secondari.
I dati possono essere trasferiti da un server primario o da un server secondario.
Per acquisire modifiche da un server secondario, il parametro di registrazione binaria log_slave_updates
deve essere impostato su true
(1
).
Lettura di approfondimento: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_MySQL.Replication.html
Acquisizione delle modifiche dal database Microsoft Azure per MySQL
La registrazione binaria è necessaria per acquisire le modifiche. Per verificare che la registrazione binaria sia abilitata (impostazione predefinita), assicurarsi che il parametro binlog_row_image
del database sia impostato su full
.