Förutsättningar

Innan du kan mellanlagra eller replikera data måste du skapa följande förutsättningar:

Installera nödvändig driver på Gateway för dataflytt-servern

Anteckning om information
Detta krävs endast om du har valt att arbeta med Gateway för dataflytt. Information om fördelarna med Gateway för dataflytt och när det krävs finns i Qlik Data Gateway – dataflytt.

Observera att Gateway för dataflytt inte tillgängligt med Qlik Talend Cloud Starter-prenumerationen.
Bevilja nödvändiga behörigheter på datakällan
Konfigurera datakällans koppling

Utgåvor som stöds

Följande utgåvor av MySQL stöds:

MySQL Community Edition
MySQL Standard Edition
MySQL Enterprise
MySQL Cluster Carrier Grade Edition

Inställning av drivrutin

Du kan installera driver med verktyget för installation av drivrutiner (rekommenderas) eller manuellt. Manuell installation ska bara användas om det mot förmodan skulle inträffa ett problem med verktyget för installation av drivrutiner.

Använda verktyget för installation av drivrutiner för att installera drivrutinen

I det här delavsnittet beskrivs hur driver som krävs installeras. Processen innebär att ett skript körs som automatiskt hämtar, installerar och konfigurerar den nödvändiga driver. Du kan också köra skript som uppdaterar och avinstallerar driver efter behov.

Förbereda installationen

Kontrollera att Python 3.6 eller senare är installerad på Dataflytt-gatewayservern.

Python kommer förinstallerad på de flesta Linuxdistributioner. Du kan kontrollera vilken Pythonversion som är installerad på ditt system genom att köra följande kommando:

python3 --version

Installera driver

Så här hämtar och installerar du driver:

På Dataflytt-gatewaydatorn byter du arbetskatalog till:

opt/qlik/gateway/movement/drivers/bin
Kör följande kommando:

Syntax:

./install mysql

Om driver inte kan hämtas (på grund av åtkomstbegränsningar eller tekniska problem) visas ett meddelande som beskriver var du kan hämta driver och vart du ska kopiera den på Dataflytt-gatewaydatorn. När du har gjort detta kör du install mysql-kommandot igen.

I annat fall visas EULA för driver.
Gör ett av följande:
- Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
- Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
- Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.
Gör något av följande:
- Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
- Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.
- Skriv in "v" och tryck på [Enter] för att visa EULA igen.

driver kommer att installeras.

Uppdatering av driver

Kör uppdateringskommandot om du vill avinstallera tidigare versioner av driver innan du installerar den tillhandahållna driver.

Så här hämtar och uppdaterar du driver:

På Dataflytt-gatewaydatorn byter du arbetskatalog till:

opt/qlik/gateway/movement/drivers/bin
Kör följande kommando:

Syntax:

./update mysql

Om driver inte kan hämtas (på grund av åtkomstbegränsningar eller tekniska problem) visas ett meddelande som beskriver var du kan hämta driver och vart du ska kopiera den på Dataflytt-gatewaydatorn. När du har gjort detta kör du update mysql-kommandot igen.

I annat fall visas EULA för driver.
Gör ett av följande:
- Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
- Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
- Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.
Gör något av följande:
- Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
- Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.
- Skriv in "v" och tryck på [Enter] för att granska EULA från början.

Den gamla driver avinstalleras och den nya driver installeras.

Avinstallera driver

Kör avinstalleringskommandot om du vill avinstallera driver.

Så här avinstallerar du driver:

Stoppa alla uppgifter som är konfigurerade för att använda denna koppling.
På Dataflytt-gatewaydatorn byter du arbetskatalog till:

opt/qlik/gateway/movement/drivers/bin
Kör följande kommando:

-syntax

./uninstall mysql

driver kommer att avinstalleras.

Installera drivrutinen manuellt

Du bör bara försöka installera driver manuellt om den automatiserade drivrutinsinstallationen inte slutfördes.

När Gateway för dataflytt har installerats hämtar du drivrutinen mysql-connector-odbc-<version>.x86_64.rpm. Du hittar en direkt nedladdningslänk till den version som stöds i binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/mysql.yaml. När hämtningen har slutförts kopierar du RPM-filen till Gateway för dataflytt-maskinen.

Öppna en kommandorad på Gateway för dataflytt-servern och gör följande:

Stoppa tjänsten Gateway för dataflytt:

sudo systemctl stop repagent
Om du vill kan du bekräfta att tjänsten har stoppats:

sudo systemctl status repagent

Statusen ska vara enligt följande:

Active: inactive (dead) since <timestamp> ago
Installera drivrutinen på Gateway för dataflytt-maskinen.
Ändra arbetskatalogen till <Gateway för dataflytt-Install-Dir>/bin.
Kopiera drivrutinens plats till site_arep_login.sh-filen:

echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/usr/lib64" >> site_arep_login.sh

Detta kommer att lägga till drivrutinen i "LD_LIBRARY_PATH" och uppdatera drivrutinsplatsen i filen site_arep_login.sh.
Bekräfta vid behov att drivrutinens plats har kopierats:

cat site_arep_login.sh
Kontrollera att filen /etc/odbcinst.ini innehåller en post för MySQL, som i det följande exemplet:

[MySQL ODBC 8.0 Unicode Driver]

Driver = /usr/lib64/libmyodbc8w.so

UsageCount = 1
Starta Gateway för dataflytt-tjänsten.

sudo systemctl start repagent
Om du vill kan du bekräfta att tjänsten har startats:

sudo systemctl status repagent

Statusen ska vara enligt följande:

Active: active (running) since <timestamp> ago

Port

Som standard måste port 3306 öppnas för utgående kommunikation på server Gateway för dataflytt. Du kan ändra detta i anslutningsinställningarna.

Allmänna förutsättningar

Se till att följande förutsättningar är uppfyllda:

Ett MySQL-konto med Behörigheter som krävs.
MySQL 8: Standardautentisering för att registrera ändringar
Certifierade MySQL-versioner stöder delvärdet för tidsdatatyper (introducerat i MySQL 5.6). Följaktligen stöds inte längre flyttar av det gamla formatet för tidsdatatyp.

Anteckning om informationObservera att uppgradering till MySQL-versioner som stöder delvärdet för tidsdatatyper inte uppgraderar formatet för tidsdatatyp automatiskt. Detta måste utföras separat. Detta gäller även vid uppgradering från MariaDB 10.1. Vidare instruktioner om hur du uppgraderar formatet för tidsdatatyp finns i tillverkarens onlinehjälp.

Samla in ändringar från en kundinstallerad MySQL-databas

I det följande avsnittet beskrivs kraven för att samla in ändringar från en lokal MySQL-databas.

Aktivera binär loggning

För att aktivera binär loggning (krävs för CDC flyttar), måste följande parametrar vara konfigurerade i MySQL:s filer för my.ini (Windows) eller my.cnf (UNIX).

Parametrar för binär loggning
Parameter	Värde
server_id	Valfritt värde från 1. Exempel: server_id=1
log-bin=<path>	Sökväg till den binära loggfilen (utan komplement). Exempel: log-bin=E:\MySql_Logs\BinLog
binlog_format	Måste vara: binlog_format=row
expire_logs_days	För att förhindra problem med diskutrymme rekommenderas det starkt att inte använda standardvärdet (0). Exempel: expire_logs_days=5
binlog_row_image	Måste vara: binlog_row_image=full

Förutsättningar för kluster

För att kunna Flytta klustrade tabeller (NDB) (genom att ansluta till någon av klusternoderna), måste följande parametrar vara konfigurerade i MySQL:s my.ini (Windows) eller my.cnf (UNIX) filer.

När du använder Percona som källa behöver du inte utföra proceduren som beskrivs i detta avsnitt.

Klusterparametrar
Parameter	Värde
ndb_log_bin	Måste vara: ndb_log_bin=on Säkerställer att ändringar i klustrade tabeller loggas till den binära loggen.
ndb_log_update_as_write	Måste vara: ndb_log_update_as_write=OFF Förhindrar att UPDATE-värden skrivs som INSERT-värden i den binära loggen.
ndb_log_updated_only	Måste vara: ndb_log_updated_only=OFF Säkerställer att den binära loggen kommer att innehålla hela raden och inte bara de ändrade kolumnerna.

Samla in ändringar från Google Cloud for MySQL

Binär loggning

Binär loggning krävs för att registrera ändringar. För att kontrollera att binär loggning är aktiverad (standard), måste du se till att databasens parameter binlog_row_image är inställd på full.

Replikering

Replication möjliggör att data från den primära databasservern kan kopieras till en eller flera sekundära servrar.

Data kan mellanlagras från antingen en primär server eller en sekundär server.

För att registrera ändringar från en sekundär server, måste parametern för binär loggning log_slave_updates vara inställd på true (1).

Läs mer här: https://cloud.google.com/sql/docs/mysql/replication

Samla in ändringar från Amazon RDS for MySQL och Amazon Aurora for MySQL

Binär loggning

Konfigurera Amazon RDS för MySQL eller Amazon Aurora för MySQL för CDC:

Följ instruktionerna i AWS-hjälpen när du ska skapa en ny parametergrupp (se avsnittet Binärt loggningsformat).
När du ska skapa en ny parametergrupp anger du: binlog_format=row
Spara den nya parametergruppen.
Om du har en befintlig instans av Amazon RDS för MySQL, redigerar du instansen för att använda den parameter som anges i Steg 2 ovan. Om du tillhandahåller en ny instans av Amazon RDS för MySQL, refererar du till den nya parametergruppen som skapades i Steg 1 ovan.
Slutligen ser du till att automatisk säkerhetskopiering är aktiverad (standard).

Mer att läsa: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_LogAccess.MySQL.BinaryFormat.html

Replikering

Replication möjliggör att data från den primära databasservern kan kopieras till en eller flera sekundära servrar.

Data kan mellanlagras från antingen en primär server eller en sekundär server.

För att registrera ändringar från en sekundär server, måste parametern för binär loggning log_slave_updates vara inställd på true (1).

Läs mer här: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_MySQL.Replication.html

Samla in ändringar från Microsoft Azure database for MySQL

Var den här sidan till hjälp för dig?

Om du hittar några fel på denna sida eller i innehållet – ett stavfel, ett steg som saknas eller ett tekniskt fel – berätta för oss så att vi kan blir bättre!

Lämna din feedback här