Vereisten
Voordat u gegevens tijdelijk kunt opslaan of repliceren, moet u zorgen dat er aan de volgende vereisten is voldaan:
-
Installeer de vereiste driver op de server van de Gateway voor gegevensverplaatsing
InformatieDit is alleen vereist als u hebt opgegeven dat u werkt met Gateway voor gegevensverplaatsing. Raadpleeg Qlik Gegevensgateway - Gegevensverplaatsing voor informatie over de voordelen van Gateway voor gegevensverplaatsing en wanneer deze is vereist.
Let op dat Gateway voor gegevensverplaatsing niet beschikbaar is met het Qlik Talend Cloud Starter-abonnement.
-
Verleen de vereiste machtigingen voor de gegevensbron
-
De gegevensbronconnector configureren
Ondersteunde edities
De volgende edities van MySQL worden ondersteund:
- MySQL Community Edition
- MySQL Standard Edition
- MySQL Enterprise Edition
- MySQL Cluster Carrier Grade Edition
Setup stuurprogramma
U kunt het driver installeren met het installatieprogramma (aanbevolen) of handmatig. U moet een handmatige installatie alleen uitvoeren als er een probleem ontstaat bij het hulpprogramma.
Het hulpprogramma gebruiken om het stuurprogramma te installeren
In deze sectie wordt beschreven hoe u het vereiste driver installeert. Het proces omvat het uitvoeren van een script dat automatisch het vereiste driver downloadt, installeert en configureert. U kunt indien nodig ook scripts uitvoeren om het driver bij te werken en verwijderen.
De installatie voorbereiden
-
Controleer of Python 3.6 of hoger is geïnstalleerd op de Gegevensverplaatsing-gatewayserver.
Python is al geïnstalleerd op de meeste Linux-distributies. U kunt controleren welke Python-versie is geïnstalleerd op uw systeem door de volgende opdracht uit te voeren:
python3 --version
De driver installeren
Ga als volgt te werk om het driverte downloaden en installeren:
-
Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:
opt/qlik/gateway/movement/drivers/bin
-
Voer dan de volgende opdracht uit:
Syntaxis:
./install mysql
Als het driver niet kan worden gedownload (vanwege toegangsbeperkingen of technische problemen), wordt er een melding getoond met de instructies voor het downloaden van het driver en waarnaar u het moet kopiëren op de Gegevensverplaatsing-gatewaymachine. Nadat u dit hebt gedaan, voert u de opdracht install mysql nogmaals uit.
Anders wordt de gebruiksrechtovereenkomst voor het driver getoond.
-
Voer een van de volgende handelingen uit:
- Druk herhaaldelijk op [Enter] om langzaam door de gebruiksrechtovereenkomst te scrollen.
- Druk herhaaldelijk op de spatiebalk om snel door de gebruiksrechtovereenkomst te scrollen.
- Druk op q om de licentietekst af te sluiten en de opties te tonen voor het aanvaarden van de gebruiksrechtovereenkomst.
-
Voer een van de volgende handelingen uit:
- Typ "y" en druk op [Enter] om de gebruiksrechtovereenkomst te accepteren en de installatie te starten.
- Typ "n" en druk op [Enter] om de gebruiksrechtovereenkomst af te wijzen en de installatie af te sluiten.
-
Typ "v" en druk op [Enter] om de gebruiksrechtovereenkomst nogmaals te tonen.
Het driver wordt geïnstalleerd.
Het driver bijwerken
Voer de update-opdracht uit als u eerdere versies van het driver wilt verwijderen voordat u het meegeleverde driver installeert.
Ga als volgt te werk om het driver te downloaden en bij te werken:
-
Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:
opt/qlik/gateway/movement/drivers/bin
-
Voer dan de volgende opdracht uit:
Syntaxis:
./update mysql
Als het driver niet kan worden gedownload (vanwege toegangsbeperkingen of technische problemen), wordt er een melding getoond met de instructies voor het downloaden van het driver en waarnaar u het moet kopiëren op de Gegevensverplaatsing-gatewaymachine. Nadat u dit hebt gedaan, voert u de opdracht update mysql nogmaals uit.
Anders wordt de gebruiksrechtovereenkomst voor het driver getoond.
-
Voer een van de volgende handelingen uit:
- Druk herhaaldelijk op [Enter] om langzaam door de gebruiksrechtovereenkomst te scrollen.
- Druk herhaaldelijk op de spatiebalk om snel door de gebruiksrechtovereenkomst te scrollen.
- Druk op q om de licentietekst af te sluiten en de opties te tonen voor het aanvaarden van de gebruiksrechtovereenkomst.
-
Voer een van de volgende handelingen uit:
- Typ "y" en druk op [Enter] om de gebruiksrechtovereenkomst te accepteren en de installatie te starten.
- Typ "n" en druk op [Enter] om de gebruiksrechtovereenkomst af te wijzen en de installatie af te sluiten.
- Typ "v" en druk op [Enter] om de gebruiksrechtovereenkomst nogmaals vanaf het begin te tonen.
Het oude driver wordt verwijderd en het nieuwe driver wordt geïnstalleerd.
Het driver verwijderen
Voer de uninstall-opdracht uit als u het driver wilt verwijderen.
Ga als volgt te werken om het driver te verwijderen:
-
Stop alle taken die zijn geconfigureerd om deze connector te gebruiken.
-
Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:
opt/qlik/gateway/movement/drivers/bin
-
Voer dan de volgende opdracht uit:
Syntaxis:
./uninstall mysql
driver wordt verwijderd.
Het stuurprogramma handmatig installeren
U moet het driver alleen handmatig uitvoeren als de geautomatiseerde installatie van het stuurprogramma niet is voltooid.
Nadat Gateway voor gegevensverplaatsing is geïnstalleerd, downloadt u het mysql-connector-odbc-<version>.x86_64.rpm stuurprogramma. U vindt een directe downloadlink naar de ondersteunde versie onder binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/mysql.yaml. Nadat de download is voltooid, kopieert u de RPM naar de machine met de Gateway voor gegevensverplaatsing.
Open op de Data Movement gateway-server een opdrachtregel en doe het volgende:
-
Stop de Data Movement gateway-service:
sudo systemctl stop repagent
-
Bevestig eventueel dat de service is gestopt:
sudo systemctl status repagent
De status zou als volgt moeten zijn:
Active: inactive (dead) since <timestamp> ago
- Installeer het stuurprogramma op de Data Movement gateway-machine.
-
Wijzig de werkmap in <Data Movement gateway-Install-Dir>/bin.
-
Kopieer de locatie van het stuurprogramma als volgt naar het site_arep_login.sh-bestand:
echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/usr/lib64" >> site_arep_login.sh
Hiermee wordt het stuurprogramma toevoegd aan "LD_LIBRARY_PATH" en wordt de locatie van het stuurprogramma bijgewerkt in het site_arep_login.sh-bestand.
-
Bevestig eventueel dat de locatie van stuurpogramma is gekopieerd:
cat site_arep_login.sh
-
Zorg ervoor dat het bestand /etc/odbcinst.ini een vermelding voor MySQL bevat, zoals in het volgende voorbeeld:
[MySQL ODBC 8.0 Unicode Driver]
Driver = /usr/lib64/libmyodbc8w.so
UsageCount = 1
-
Start de Data Movement gateway-service:
sudo systemctl start repagent
-
Bevestig eventueel dat de service is gestart:
sudo systemctl status repagent
De status zou als volgt moeten zijn:
Active: active (running) since <timestamp> ago
Poort
Poort 3306 moet standaard zijn geopend voor uitgaande communicatie op de Data Movement gateway-server. U kunt dit wijzigen in de connectorinstellingen.
Algemene vereisten
Controleer of er aan de volgende vereisten is voldaan:
- Een MySQL-account met de Vereiste machtigingen.
- MySQL 8: Standaardverificatie voor het vastleggen van wijzigingen
-
Gecertificeerde MySQL-versies ondersteunen de fractionele waarde voor tijdelijke gegevenstypen (geïntroduceerd in MySQL 5.6). Daarom wordt het moving van de oude indeling van het tijdelijke gegevenstype niet langer ondersteund.
InformatieHoud er rekening mee dat met het bijwerken naar MySQL-versies die ondersteuning bieden voor de fractionele waarde voor tijdelijke gegevenstypen, de indeling van tijdelijke gegevenstypen niet automatisch wordt bijgewerkt. Dit moet u afzonderlijk uitvoeren. Dit is ook van toepassing als u een upgrade vanaf MariaDB 10.1 uitvoert. Voor instructies voor het bijwerken van de indeling van tijdelijke gegevenstypen kunt u de online help van de leverancier raadplegen.
Vastleggen van wijzigingen uit een door de klant geïnstalleerde MySQL-database
In het volgende gedeelte worden de vereisten beschreven voor het Vastleggen van wijzigingen uit een MySQL-database op locatie.
Binaire logboekregistratie inschakelen
Om binaire logboekregistratie in te schakelen (vereist voor CDC moving), moeten de volgende parameters zijn geconfigureerd in de bestanden van MySQL my.ini (Windows) of my.cnf (UNIX).
Parameters | Waarde |
---|---|
server_id |
Elke waarde vanaf 1. Voorbeeld: server_id=1 |
log-bin=<path> |
Pad naar het binaire logboekbestand (zonder een extensie). Voorbeeld: log-bin=E:\MySql_Logs\BinLog |
binlog_format |
Moet zijn: binlog_format=row |
expire_logs_days |
Om problemen met de schijfruimte te voorkomen, wordt sterk aanbevolen om niet de standaardwaarde (0) te gebruiken. Voorbeeld: expire_logs_days=5 |
binlog_row_image |
Moet zijn: binlog_row_image=full |
Clustervereisten
Voor het Verplaatsen van geclusterde (NDB) tabellen (door verbinding te maken met een van de clusterknooppunten), moeten de volgende parameters worden geconfigureerd in MySQL’s my.ini (Windows) of my.cnf (UNIX) bestanden.
Als u Percona als bron gebruikt, hoeft u de procedures in deze sectie niet uit te voeren.
Parameter | Waarde |
---|---|
ndb_log_bin |
Moet zijn: ndb_log_bin=on Zorgt dat wijzigingen in geclusterde tabellen in het binaire logboek worden geregistreerd. |
ndb_log_update_as_write |
Moet zijn: ndb_log_update_as_write=OFF Voorkomt dat UPDATE's in het binaire logboeken als INSERT's worden geschreven. |
ndb_log_updated_only |
Moet zijn: ndb_log_updated_only=OFF Zorgt dat het binaire logboek de volledige rij en niet alleen de gewijzigde kolommen bevat. |
Vastleggen van wijzigingen uit Google Cloud voor MySQL
Binaire logboekregistratie
Binaire logboekregistratie is vereist voor het vastleggen van wijzigingen. Bij het controleren of binaire logboekregistratie is ingeschakeld (standaardinstellingen), moet u zorgen dat de binlog_row_image
parameter van de database is ingesteld op Volledig
.
Replicatie
Met replication worden gegevens van de primaire databaseserver gekopieerd naar een of meer secundaire servers.
Gegevens kunnen tijdelijk worden opgeslagen op een primaire of secundaire server.
Voor het vastleggen van wijzigingen van een secundaire server, moet de paramater voor binaire logboekregistratie log_slave_updates
ingesteld worden op waar
(1
).
Meer informatie: https://cloud.google.com/sql/docs/mysql/replication
Vastleggen van wijzigingen uit Amazon RDS for MySQL en Amazon Aurora for MySQL
Binaire logboekregistratie
Amazon RDS instellen voor MySQL of Amazon Aurora for MySQL voor CDC:
-
Volg de instructies in de AWS Help voor het maken van een nieuwe parametergroep (zie de sectie Indeling binaire logboekregistratie).
-
Bij het maken van de nieuwe parametergroep stelt u het volgende in:
binlog_format=row
- Sla de nieuwe parametergroep op.
- Als u een bestaand exemplaar van Amazon RDS forMySQL hebt, wijzig het exemplaar zodat deze de parameter gebruikt die hierboven in stap 2 is opgegeven. Als u een nieuw exemplaar van Amazon RDS for MySQL implementeert, gebruik dan de nieuwe parametergroep die hierboven in stap 1 is gemaakt.
- Zorg tot slot dat het maken van een automatische back-up is ingeschakeld (standaardinstelling).
Meer informatie: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_LogAccess.MySQL.BinaryFormat.html
Replicatie
Met replication worden gegevens van de primaire databaseserver gekopieerd naar een of meer secundaire servers.
Gegevens kunnen tijdelijk worden opgeslagen op een primaire of secundaire server.
Voor het vastleggen van wijzigingen van een secundaire server, moet de paramater voor binaire logboekregistratie log_slave_updates
ingesteld worden op waar
(1
).
Meer informatie: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_MySQL.Replication.html
Vastleggen van wijzigingen uit Microsoft Azure Database for MySQL
Binaire logboekregistratie is vereist voor het vastleggen van wijzigingen. Bij het controleren of binaire logboekregistratie is ingeschakeld (standaardinstellingen), moet u zorgen dat de binlog_row_image
parameter van de database is ingesteld op Volledig
.