Förutsättningar
Innan du kan mellanlagra eller replikera data måste du skapa följande förutsättningar:
-
Installera nödvändig driver på Data Movement-gatewayservern
-
Bevilja nödvändiga behörigheter på datakällan
-
Konfigurera datakällans koppling
Utgåvor som stöds
Följande utgåvor av MySQL stöds:
- MySQL Community Edition
- MySQL Standard Edition
- MySQL Enterprise
- MySQL Cluster Carrier Grade Edition
Inställning av drivrutin
Du kan installera driver med verktyget för installation av drivrutiner (rekommenderas) eller manuellt. Manuell installation ska bara användas om det mot förmodan skulle inträffa ett problem med verktyget för installation av drivrutiner.
Använda verktyget för installation av drivrutiner för att installera drivrutinen
I det här delavsnittet beskrivs hur driver som krävs installeras. Processen innebär att ett skript körs som automatiskt hämtar, installerar och konfigurerar den nödvändiga driver. Du kan också köra skript som uppdaterar och avinstallerar driver efter behov.
Förbereda installationen
-
Kontrollera att Python 3.6 eller senare är installerad på Dataflytt-gatewayservern.
Python kommer förinstallerad på de flesta Linuxdistributioner. Du kan kontrollera vilken Pythonversion som är installerad på ditt system genom att köra följande kommando:
python3 --version
Installera driver
Så här hämtar och installerar du driver:
-
På Dataflytt-gatewaydatorn byter du arbetskatalog till:
opt/qlik/gateway/movement/drivers/bin
-
Kör följande kommando:
Syntax:
./install mysql
Om driver inte kan hämtas (på grund av åtkomstbegränsningar eller tekniska problem) visas ett meddelande som beskriver var du kan hämta driver och vart du ska kopiera den på Dataflytt-gatewaydatorn. När du har gjort detta kör du install mysql-kommandot igen.
I annat fall visas EULA för driver.
-
Gör ett av följande:
- Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
- Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
- Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.
-
Gör något av följande:
- Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
- Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.
-
Skriv in "v" och tryck på [Enter] för att visa EULA igen.
driver kommer att installeras.
Uppdatering av driver
Kör uppdateringskommandot om du vill avinstallera tidigare versioner av driver innan du installerar den tillhandahållna driver.
Så här hämtar och uppdaterar du driver:
-
På Dataflytt-gatewaydatorn byter du arbetskatalog till:
opt/qlik/gateway/movement/drivers/bin
-
Kör följande kommando:
Syntax:
./update mysql
Om driver inte kan hämtas (på grund av åtkomstbegränsningar eller tekniska problem) visas ett meddelande som beskriver var du kan hämta driver och vart du ska kopiera den på Dataflytt-gatewaydatorn. När du har gjort detta kör du update mysql-kommandot igen.
I annat fall visas EULA för driver.
-
Gör ett av följande:
- Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
- Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
- Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.
-
Gör något av följande:
- Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
- Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.
- Skriv in "v" och tryck på [Enter] för att granska EULA från början.
Den gamla driver avinstalleras och den nya driver installeras.
Avinstallera driver
Kör avinstalleringskommandot om du vill avinstallera driver.
Så här avinstallerar du driver:
-
Stoppa alla uppgifter som är konfigurerade för att använda denna koppling.
-
På Dataflytt-gatewaydatorn byter du arbetskatalog till:
opt/qlik/gateway/movement/drivers/bin
-
Kör följande kommando:
-syntax
./uninstall mysql
driver kommer att avinstalleras.
Installera drivrutinen manuellt
Du bör bara försöka installera driver manuellt om den automatiserade drivrutinsinstallationen inte slutfördes.
När Gateway för dataflytt har installerats hämtar du drivrutinen mysql-connector-odbc-<version>.x86_64.rpm. Du hittar en direkt nedladdningslänk till den version som stöds i binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/mysql.yaml. När hämtningen har slutförts kopierar du RPM-filen till Gateway för dataflytt-maskinen.
Öppna en kommandorad på Data Movement gateway-servern och gör följande:
-
Stoppa tjänsten Data Movement gateway:
sudo systemctl stop repagent
-
Om du vill kan du bekräfta att tjänsten har stoppats:
sudo systemctl status repagent
Statusen ska vara enligt följande:
Active: inactive (dead) since <timestamp> ago
- Installera drivrutinen på Data Movement gateway-maskinen.
-
Ändra arbetskatalogen till <Data Movement gateway-Install-Dir>/bin.
-
Kopiera drivrutinens plats till site_arep_login.sh-filen:
echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/usr/lib64" >> site_arep_login.sh
Detta kommer att lägga till drivrutinen i "LD_LIBRARY_PATH" och uppdatera drivrutinsplatsen i filen site_arep_login.sh.
-
Bekräfta vid behov att drivrutinens plats har kopierats:
cat site_arep_login.sh -
Kontrollera att filen /etc/odbcinst.ini innehåller en post för MySQL, som i det följande exemplet:
[MySQL ODBC 8.0 Unicode Driver]Driver = /usr/lib64/libmyodbc8w.soUsageCount = 1 -
Starta Data Movement gateway-tjänsten.
sudo systemctl start repagent
-
Om du vill kan du bekräfta att tjänsten har startats:
sudo systemctl status repagent
Statusen ska vara enligt följande:
Active: active (running) since <timestamp> ago
Port
Som standard måste port 3306 öppnas för utgående kommunikation på server Data Movement gateway. Du kan ändra detta i anslutningsinställningarna.
Allmänna förutsättningar
Se till att följande förutsättningar är uppfyllda:
- Ett MySQL-konto med Behörigheter som krävs.
- MySQL 8: Standardautentisering för att registrera ändringar
-
Certifierade MySQL-versioner stöder delvärdet för tidsdatatyper (introducerat i MySQL 5.6). Följaktligen stöds inte längre mellanlagring av det gamla formatet för tidsdatatyp.
Anteckning om informationObservera att uppgradering till MySQL-versioner som stöder delvärdet för tidsdatatyper inte uppgraderar formatet för tidsdatatyp automatiskt. Detta måste utföras separat. Detta gäller även vid uppgradering från MariaDB 10.1. Vidare instruktioner om hur du uppgraderar formatet för tidsdatatyp finns i tillverkarens onlinehjälp.
Samla in ändringar från en kundinstallerad MySQL-databas
I det följande avsnittet beskrivs kraven för att samla in ändringar från en lokal MySQL-databas.
Aktivera binär loggning
För att aktivera binär loggning (krävs för CDC mellanlagring), måste följande parametrar vara konfigurerade i MySQL:s filer för my.ini (Windows) eller my.cnf (UNIX).
| Parameter | Värde |
|---|---|
|
server_id |
Valfritt värde från 1. Exempel: server_id=1 |
|
log-bin=<path> |
Sökväg till den binära loggfilen (utan komplement). Exempel: log-bin=E:\MySql_Logs\BinLog |
|
binlog_format |
Måste vara: binlog_format=row |
|
expire_logs_days |
För att förhindra problem med diskutrymme rekommenderas det starkt att inte använda standardvärdet (0). Exempel: expire_logs_days=5 |
|
binlog_row_image |
Måste vara: binlog_row_image=full |
Förutsättningar för kluster
För att kunna Mellanlagra klustrade tabeller (NDB) (genom att ansluta till någon av klusternoderna), måste följande parametrar vara konfigurerade i MySQL:s my.ini (Windows) eller my.cnf (UNIX) filer.
När du använder Percona som källa behöver du inte utföra proceduren som beskrivs i detta avsnitt.
| Parameter | Värde |
|---|---|
|
ndb_log_bin |
Måste vara: ndb_log_bin=on Säkerställer att ändringar i klustrade tabeller loggas till den binära loggen. |
|
ndb_log_update_as_write |
Måste vara: ndb_log_update_as_write=OFF Förhindrar att UPDATE-värden skrivs som INSERT-värden i den binära loggen. |
|
ndb_log_updated_only |
Måste vara: ndb_log_updated_only=OFF Säkerställer att den binära loggen kommer att innehålla hela raden och inte bara de ändrade kolumnerna. |
Samla in ändringar från Google Cloud for MySQL
Binär loggning
Binär loggning krävs för att registrera ändringar. För att kontrollera att binär loggning är aktiverad (standard), måste du se till att databasens parameter binlog_row_image är inställd på full.
Replikering
Replication möjliggör att data från den primära databasservern kan kopieras till en eller flera sekundära servrar.
Data kan mellanlagras från antingen en primär server eller en sekundär server.
För att registrera ändringar från en sekundär server, måste parametern för binär loggning log_slave_updates vara inställd på true (1).
Läs mer här: https://cloud.google.com/sql/docs/mysql/replication
Samla in ändringar från Amazon RDS for MySQL och Amazon Aurora for MySQL
Binär loggning
Konfigurera Amazon RDS för MySQL eller Amazon Aurora för MySQL för CDC:
-
Följ instruktionerna i AWS-hjälpen när du ska skapa en ny parametergrupp (se avsnittet Binärt loggningsformat).
-
När du ska skapa en ny parametergrupp anger du:
binlog_format=row - Spara den nya parametergruppen.
- Om du har en befintlig instans av Amazon RDS för MySQL, redigerar du instansen för att använda den parameter som anges i Steg 2 ovan. Om du tillhandahåller en ny instans av Amazon RDS för MySQL, refererar du till den nya parametergruppen som skapades i Steg 1 ovan.
- Slutligen ser du till att automatisk säkerhetskopiering är aktiverad (standard).
Mer att läsa: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_LogAccess.MySQL.BinaryFormat.html
Replikering
Replication möjliggör att data från den primära databasservern kan kopieras till en eller flera sekundära servrar.
Data kan mellanlagras från antingen en primär server eller en sekundär server.
För att registrera ändringar från en sekundär server, måste parametern för binär loggning log_slave_updates vara inställd på true (1).
Läs mer här: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_MySQL.Replication.html
Samla in ändringar från Microsoft Azure database for MySQL
Binär loggning krävs för att registrera ändringar. För att kontrollera att binär loggning är aktiverad (standard), måste du se till att databasens parameter binlog_row_image är inställd på full.