Voraussetzungen
Vergewissern Sie sich, dass Sie die folgenden Voraussetzungen erfüllen, bevor Sie Daten bereitstellen oder replizieren:
-
Installieren des benötigten driver auf dem Data Movement Gateway-Server
InformationshinweisDies ist nur erforderlich, wenn Sie sich für die Arbeit mit Data Movement Gateway entschieden haben. Weitere Informationen zu den Vorteilen von Data Movement Gateway und dazu, wann es erforderlich ist, finden Sie unter Qlik Data Gateway - Data Movement.
Beachten Sie, dass Data Movement Gateway für das Qlik Talend Cloud Starter-Abonnement nicht verfügbar ist.
-
Gewähren der benötigten Berechtigungen für die Datenquelle
-
Konfigurieren des Datenquellenkonnektors
Unterstützte Editionen
Die folgenden MySQL-Editionen werden unterstützt:
- MySQL Community Edition
- MySQL Standard Edition
- MySQL Enterprise Edition
- MySQL Cluster Carrier Grade Edition
Treibereinrichtung
Sie können den driver mit dem Treiberinstallations-Dienstprogramm (empfohlen) oder manuell installieren. Eine manuelle Installation sollte nur in dem unwahrscheinlichen Fall versucht werden, dass Sie beim Verwenden des Treiberinstallations-Dienstprogramms auf Probleme stoßen.
Verwenden des Treiberinstallations-Dienstprogramms zum Installieren des Treibers
In diesem Abschnitt wird die Installation des erforderlichen driver beschrieben. Der Prozess umfasst das Ausführen eines Skripts, das den erforderlichen driver automatisch herunterlädt, installiert und konfiguriert. Sie können auch Skripte ausführen, um den driver bei Bedarf zu aktualisieren und zu deinstallieren.
Vorbereiten der Installation
-
Vergewissern Sie sich, dass Python 3.6 oder höher auf dem Data Movement-Gateway-Server installiert ist.
Python ist in den meisten Linux-Distributionen vorinstalliert. Führen Sie den folgenden Befehl aus, um zu prüfen, welche Python-Version auf Ihrem System installiert ist.
python3 --version
Installieren von driver
So laden Sie den driver herunter und installieren ihn:
-
Ändern Sie auf dem Data Movement-Gateway-Computer das Arbeitsverzeichnis zu:
opt/qlik/gateway/movement/drivers/bin
-
Führen Sie den folgenden Befehl aus:
Syntax:
./install mysql
Wenn der driver (aufgrund von Zugriffsbeschränkungen oder technischen Fehlern) nicht heruntergeladen werden kann, wird eine Meldung mit Anleitungen dazu angezeigt, wo Sie den driver herunterladen können und wohin er im Data Movement-Gateway-Computer kopiert werden muss. Führen Sie dann den Befehl install mysql erneut aus.
Andernfalls wird die Endbenutzer-Lizenzvereinbarung für den driver angezeigt.
-
Gehen Sie folgendermaßen vor:
- Drücken Sie mehrmals die [Eingabetaste], um langsam durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
- Drücken Sie mehrmals die Leertaste, um schnell durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
- Drücken Sie q, um den Lizenztext zu schließen und die Optionen zum Akzeptieren der Endbenutzer-Lizenzvereinbarung anzuzeigen.
-
Gehen Sie folgendermaßen vor:
- Geben Sie „y“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung zu akzeptieren und mit der Installation zu beginnen.
- Geben Sie „n“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung abzulehnen und den Installationsvorgang abzubrechen.
-
Geben Sie „v“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung erneut anzuzeigen.
Der driver wird installiert.
Aktualisieren des driver
Führen Sie den Befehl „update“ aus, wenn Sie vorherige Versionen des driver deinstallieren möchten, bevor Sie den bereitgestellten driver installieren.
So laden Sie den driver herunter und aktualisieren ihn:
-
Ändern Sie auf dem Data Movement-Gateway-Computer das Arbeitsverzeichnis zu:
opt/qlik/gateway/movement/drivers/bin
-
Führen Sie den folgenden Befehl aus:
Syntax:
./update mysql
Wenn der driver (aufgrund von Zugriffsbeschränkungen oder technischen Fehlern) nicht heruntergeladen werden kann, wird eine Meldung mit Anleitungen dazu angezeigt, wo Sie den driver herunterladen können und wohin er im Data Movement-Gateway-Computer kopiert werden muss. Führen Sie dann den Befehl update mysql erneut aus.
Andernfalls wird die Endbenutzer-Lizenzvereinbarung für den driver angezeigt.
-
Gehen Sie folgendermaßen vor:
- Drücken Sie mehrmals die [Eingabetaste], um langsam durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
- Drücken Sie mehrmals die Leertaste, um schnell durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
- Drücken Sie q, um den Lizenztext zu schließen und die Optionen zum Akzeptieren der Endbenutzer-Lizenzvereinbarung anzuzeigen.
-
Gehen Sie folgendermaßen vor:
- Geben Sie „y“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung zu akzeptieren und mit der Installation zu beginnen.
- Geben Sie „n“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung abzulehnen und den Installationsvorgang abzubrechen.
- Geben Sie „v“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung von Anfang an anzuzeigen.
Der alte driver wird deinstalliert und der neue driver installiert.
Deinstallieren des driver
Führen Sie den Befehl „uninstall“ aus, wenn Sie den driver deinstallieren möchten.
So deinstallieren Sie den driver:
-
Halten Sie alle Aufgaben an, die für die Verwendung dieses Konnektors konfiguriert sind.
-
Ändern Sie auf dem Data Movement-Gateway-Computer das Arbeitsverzeichnis zu:
opt/qlik/gateway/movement/drivers/bin
-
Führen Sie den folgenden Befehl aus:
Syntax:
./uninstall mysql
Der driver wird deinstalliert.
Manuelles Installieren des Treibers
Nehmen Sie nur dann eine manuelle Installation des driver vor, wenn die automatische Treiberinstallation nicht erfolgreich abgeschlossen werden konnte.
Nachdem Data Movement Gateway installiert wurde, laden Sie den Treiber mysql-connector-odbc-<version>.x86_64.rpm herunter. Einen direkten Download-Link zur unterstützten Version finden Sie unter binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/mysql.yaml. Kopieren Sie nach Abschluss des Downloads die RPM auf den Data Movement Gateway-Rechner.
Öffnen Sie auf dem Data Movement Gateway-Server eine Shell-Eingabeaufforderung und führen Sie Folgendes durch:
-
Halten Sie den Data Movement Gateway-Dienst an:
sudo systemctl stop repagent
-
Bestätigen Sie optional, dass der Dienst angehalten wurde:
sudo systemctl status repagent
Der Status lautet wie folgt:
Active: inactive (dead) since <timestamp> ago
- Installieren Sie den Treiber auf dem Data Movement Gateway-Rechner.
-
Ändern Sie das Arbeitsverzeichnis in <Data Movement Gateway-Install_Dir>/bin.
-
Kopieren Sie den Treiberspeicherort in die Datei site_arep_login.sh:
echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/usr/lib64" >> site_arep_login.sh
Dadurch wird der Treiber zu „LD_LIBRARY_PATH“ hinzugefügt und der Treiberspeicherort in der Datei site_arep_login.sh aktualisiert.
-
Bestätigen Sie optional, dass der Speicherort des Treibers kopiert wurde:
cat site_arep_login.sh
-
Stellen Sie sicher, dass die Datei /etc/odbcinst.ini einen Eintrag für MySQL enthält, wie im folgenden Beispiel gezeigt:
[MySQL ODBC 8.0 Unicode Driver]
Driver = /usr/lib64/libmyodbc8w.so
UsageCount = 1
-
Starten Sie den Data Movement Gateway-Dienst:
sudo systemctl start repagent
-
Bestätigen Sie optional, dass der Dienst gestartet wurde:
sudo systemctl status repagent
Der Status lautet wie folgt:
Active: active (running) since <timestamp> ago
Port
Der Port 3306 muss standardmäßig für die ausgehende Kommunikation auf dem Data Movement Gateway-Server geöffnet werden. Sie können dies in den Konnektoreinstellungen ändern.
Allgemeine Voraussetzungen
Stellen Sie sicher, dass die folgenden Voraussetzungen erfüllt sind:
- Ein MySQL-Konto mit den Erforderliche Berechtigungen.
- MySQL 8: Standardauthentifizierung für die Erfassung von Änderungen
-
Zertifizierte MySQL-Versionen unterstützen den Teilwert für temporale Datentypen (eingeführt in MySQL 5.6). In der Folge wird die verschieben des alten temporalen Datentypformats nicht mehr unterstützt.
InformationshinweisBeachten Sie, dass durch ein Upgrade auf MySQL-Versionen, die den Teilwert für temporale Datentypen unterstützen, nicht automatisch das temporale Datentypformat aktualisiert wird. Dies muss separat geschehen. Dies trifft auch beim Upgrade von MariaDB 10.1 zu. Anweisungen zum Upgrade des temporalen Datentypformats finden Sie in der Onlinehilfe des Anbieters.
Erfassen von Änderungen in einer beim Kunden installierten MySQL-Datenbank
Der folgende Abschnitt beschreibt die Voraussetzungen für die Erfassung von Änderungen in einer lokalen MySQL-Datenbank.
Binärprotokollierung aktivieren
Um die Binärprotokollierung (für CDC verschieben erforderlich) zu aktivieren, müssen die folgenden Parameter in den Dateien my.ini (Windows) oder my.cnf (UNIX) von MySQL konfiguriert werden.
Parameter | Wert |
---|---|
server_id |
Beliebiger Wert ab 1. Beispiel: server_id=1 |
log-bin=<pfad> |
Pfad zur Binärprotokolldatei (ohne Erweiterung). Beispiel: log-bin=E:\MySql_Logs\BinLog |
binlog_format |
Muss lauten: binlog_format=row |
expire_logs_days |
Um Probleme mit dem Festplattenspeicherplatz zu vermeiden, wird dringend empfohlen, den Standardwert (0) nicht zu verwenden. Beispiel: expire_logs_days=5 |
binlog_row_image |
Muss lauten: binlog_row_image=full |
Cluster-Voraussetzungen
Um ein Verschieben für geclusterte Tabellen (NDB) (durch Herstellen einer Verbindung mit einem der Clusterknoten) durchführen zu können, müssen die folgenden Parameter in den Dateien my.ini (Windows) oder my.cnf (UNIX) von MySQL konfiguriert werden.
Bei Verwendung von Percona als Quelle müssen die in diesem Abschnitt beschriebenen Vorgänge nicht durchgeführt werden.
Parameter | Wert |
---|---|
ndb_log_bin |
Muss lauten: ndb_log_bin=on Stellt sicher, dass Änderungen in geclusterten Tabellen im Binärprotokoll protokolliert werden. |
ndb_log_update_as_write |
Muss lauten: ndb_log_update_as_write=OFF Verhindert, dass UPDATE-Operationen als INSERT-Operationen in das Binärprotokoll geschrieben werden. |
ndb_log_updated_only |
Muss lauten: ndb_log_updated_only=OFF Stellt sicher, dass das Binärprotokoll die gesamte Zeile und nicht nur die geänderten Spalten enthält. |
Erfassen von Änderungen in Google Cloud for MySQL
Binärprotokollierung
Für die Erfassung von Änderungen ist eine binäre Protokollierung erforderlich. Um zu überprüfen, ob die binäre Protokollierung aktiviert ist (die Standardeinstellung), stellen Sie sicher, dass der Parameter binlog_row_image
der Datenbank auf Vollständig
gesetzt ist.
Replikation
Durch die Replizierung können Daten aus dem primären Datenbankserver auf einen oder mehrere sekundäre Server kopiert werden.
Die Daten können entweder von einem primären oder von einem sekundären Server bereitgestellt werden.
Um Änderungen von einem sekundären Server zu erfassen, muss der Parameter log_slave_updates
für Binärprotokollierung auf true
(1
) gesetzt werden.
Weiterführende Lektüre: https://cloud.google.com/sql/docs/mysql/replication
Erfassen von Änderungen in Amazon RDS for MySQL und Amazon Aurora for MySQL
Binärprotokollierung
So richten Sie Amazon RDS for MySQL oder Amazon Aurora for MySQL für CDC ein:
-
Folgen Sie den Anleitungen in der AWS-Hilfe für das Erstellen einer neuen Parametergruppe (siehe Abschnitt „Binary Logging Format“).
-
Legen Sie beim Erstellen der neuen Parametergruppe Folgendes fest:
binlog_format=row
- Speichern Sie die neue Parametergruppe.
- Wenn Sie eine vorhandene Instanz von Amazon RDS for MySQL haben, bearbeiten Sie die Instanz, damit der in Schritt 2 oben angegebene Parameter verwendet wird. Wenn Sie eine neue Instanz von Amazon RDS for MySQL bereitstellen, referenzieren Sie die neue Parametergruppe, die oben in Schritt 1 erstellt wurde.
- Vergewissern Sie sich abschließend, dass die automatische Sicherung aktiviert ist (die Standardeinstellung).
Weitere Informationen: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_LogAccess.MySQL.BinaryFormat.html
Replikation
Durch die Replizierung können Daten aus dem primären Datenbankserver auf einen oder mehrere sekundäre Server kopiert werden.
Die Daten können entweder von einem primären oder von einem sekundären Server bereitgestellt werden.
Um Änderungen von einem sekundären Server zu erfassen, muss der Parameter log_slave_updates
für Binärprotokollierung auf true
(1
) gesetzt werden.
Weiterführende Lektüre: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_MySQL.Replication.html
Erfassen von Änderungen in Microsoft Azure Database for MySQL
Für die Erfassung von Änderungen ist eine binäre Protokollierung erforderlich. Um zu überprüfen, ob die binäre Protokollierung aktiviert ist (die Standardeinstellung), stellen Sie sicher, dass der Parameter binlog_row_image
der Datenbank auf Vollständig
gesetzt ist.