Conditions préalables requises

Avant de pouvoir déposer temporairement ou répliquer des données, vérifiez que vous remplissez bien les conditions préalables requises suivantes :

Installez le driver requis sur le serveur Data Movement gateway.

Note Informations
Cela est nécessaire uniquement si vous avez décidé d'utiliser Data Movement gateway. Pour des informations sur les avantages de Data Movement gateway et quand il convient de l'utiliser, consultez Qlik Data Gateway - Data Movement.

Notez que Data Movement gateway n'est pas disponible avec l'abonnement Démarreur Qlik Talend Cloud.
Accordez les autorisations requises sur la source de données.
Configuration du connecteur de source de données

Éditions prises en charge

Les éditions MySQL suivantes sont prises en charge :

MySQL Community Edition
MySQL Standard Edition
MySQL Enterprise Edition
MySQL Cluster Carrier Grade Edition

Configuration du pilote

Vous pouvez installer le driver via l'utilitaire d'installation de pilote (recommandé) ou manuellement. Tentez une installation manuelle uniquement dans le cas improbable où vous rencontriez un problème avec l'utilitaire d'installation de pilote.

Utilisation de l'utilitaire d'installation de pilote pour installer le pilote

Cette section explique comment installer le driver requis. Le processus implique l'exécution d'un script qui téléchargera, installera et configurera automatiquement le driver requis. Vous pouvez également exécuter des scripts permettant de mettre à jour et de désinstaller le driver, si nécessaire.

Préparation de l'installation

Assurez-vous que Python 3.6 ou une version ultérieure est installé sur le serveur de passerelle Déplacement des données.

Python est préinstallé sur la plupart des distributions Linux. Vous pouvez vérifier la version de Python installée sur votre système en exécutant la commande suivante :

python3 --version

Installation de driver

Pour télécharger et installer le driver :

Sur le poste de passerelle Déplacement des données, remplacez le répertoire de travail par :

opt/qlik/gateway/movement/drivers/bin
Exécutez la commande suivante :

Syntaxe :

./install mysql

Si le driver ne peut pas être téléchargé (en raison de restrictions d'accès ou de problèmes techniques), un message s'affichera, vous indiquant où télécharger et copier le driver sur le poste de passerelle Déplacement des données. Une fois que c'est fait, exécutez de nouveau la commande install mysql.

Sinon, le CLUF du driver apparaîtra.
Procédez de l'une des manières suivantes :
- Appuyez à plusieurs reprises sur [Entrée] pour parcourir lentement le CLUF.
- Appuyez à plusieurs reprises sur la barre d'espace pour parcourir rapidement le CLUF.
- Appuyez sur q pour quitter le texte de licence et faire apparaître les options d'acceptation du CLUF.
Procédez de l'une des manières suivantes :
- Saisissez « y » et appuyez sur [Entrée] pour accepter le CLUF et démarrer l'installation.
- Saisissez « n » et appuyez sur [Entrée] pour rejeter le CLUF et quitter l'installation.
- Saisissez « v » et appuyez sur [Entrée] pour afficher de nouveau le CLUF.

Le driver sera installé.

Mise à jour du driver

Exécutez la commande update si vous souhaitez désinstaller des versions précédentes du driver avant d'installer le driver fourni.

Pour télécharger et mettre à jour le driver :

Sur le poste de passerelle Déplacement des données, remplacez le répertoire de travail par :

opt/qlik/gateway/movement/drivers/bin
Exécutez la commande suivante :

Syntaxe :

./update mysql

Si le driver ne peut pas être téléchargé (en raison de restrictions d'accès ou de problèmes techniques), un message s'affichera, vous indiquant où télécharger et copier le driversur le poste de passerelle Déplacement des données. Une fois que c'est fait, exécutez de nouveau la commande update mysql.

Sinon, le CLUF du driver apparaîtra.
Procédez de l'une des manières suivantes :
- Appuyez à plusieurs reprises sur [Entrée] pour parcourir lentement le CLUF.
- Appuyez à plusieurs reprises sur la barre d'espace pour parcourir rapidement le CLUF.
- Appuyez sur q pour quitter le texte de licence et faire apparaître les options d'acceptation du CLUF.
Procédez de l'une des manières suivantes :
- Saisissez « y » et appuyez sur [Entrée] pour accepter le CLUF et démarrer l'installation.
- Saisissez « n » et appuyez sur [Entrée] pour rejeter le CLUF et quitter l'installation.
- Saisissez « v » et appuyez sur [Entrée] pour passer le CLUF en revue depuis le début.

L'ancien driver sera désinstallé et le nouveau driver sera installé.

Désinstallation du driver

Exécutez la commande uninstall si vous souhaitez désinstaller le driver.

Pour désinstaller le driver :

Arrêtez toutes les tâches configurées pour utiliser ce connecteur.
Sur le poste de passerelle Déplacement des données, remplacez le répertoire de travail par :

opt/qlik/gateway/movement/drivers/bin
Exécutez la commande suivante :

Syntaxe :

./uninstall mysql

le driver sera désinstallé.

Installation manuelle du pilote

Vous devez tenter d'installer manuellement le driver uniquement si l'installation de pilote automatisée n'a pas fonctionné.

Une fois la Data Movement gateway installée, téléchargez le pilote mysql-connector-odbc-<version>.x86_64.rpm. Vous trouverez un lien de téléchargement direct vers la version prise en charge sous binary-artifacts dans /opt/qlik/gateway/movement/drivers/manifests/mysql.yaml. Une fois le téléchargement terminé, copiez le RPM sur le poste Data Movement gateway.

Sur le serveur Data Movement gateway, ouvrez une invite shell et procédez comme suit :

Arrêtez le service Data Movement gateway :

sudo systemctl stop repagent
Confirmez éventuellement l'arrêt du service :

sudo systemctl status repagent

Le statut doit être comme suit :

Active: inactive (dead) since <timestamp> ago
Installez le pilote sur le poste Data Movement gateway.
Remplacez le répertoire de travail par <Data Movement gateway-Install-Dir>/bin.
Copiez l'emplacement du pilote dans le fichier site_arep_login.sh :

echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/usr/lib64" >> site_arep_login.sh

Le pilote est ainsi ajouté à « LD_LIBRARY_PATH » et son emplacement est mis à jour dans le fichier site_arep_login.sh.
Confirmez éventuellement que l'emplacement du pilote a été copié :

cat site_arep_login.sh
Vérifiez si le fichier /etc/odbcinst.ini contient une entrée pour MySQL, comme dans l'exemple suivant :

[MySQL ODBC 8.0 Unicode Driver]

Driver = /usr/lib64/libmyodbc8w.so

UsageCount = 1
Démarrez le service Data Movement gateway :

sudo systemctl start repagent
Confirmez éventuellement le lancement du service :

sudo systemctl status repagent

Le statut doit être comme suit :

Active: active (running) since <timestamp> ago

Port

Par défaut, le port 3306 doit être ouvert pour la communication sortante sur le serveur Data Movement gateway. Vous pouvez le modifier dans les paramètres de connexion.

Conditions préalables requises générales

Assurez-vous que les conditions suivantes ont été respectées :

Un compte MySQL avec Autorisations requises
MySQL 8 : Authentification standard pour la capture des modifications
Les versions MySQL certifiées prennent en charge la valeur fractionnaire pour les types de données temporelles (introduites dans MySQL 5.6). Par conséquent, déplacement de l'ancien format de type de données temporelles n'est plus pris en charge.

Note InformationsNotez que la mise à niveau vers des versions MySQL qui prennent en charge la valeur fractionnaire pour les types de données temporelles ne met pas automatiquement à niveau le format du type de données temporelles. Cette opération doit s'effectuer à part. Ce principe s'applique également lors de la mise à niveau depuis MariaDB 10.1. Pour en savoir plus sur la mise à niveau du format du type de données temporelles, consultez l'aide en ligne du fournisseur.

Capture de modifications provenant d'une base de données MySQL installée par le client

La section suivante décrit les exigences de capture des modifications provenant d'une base de données MySQL locale.

Activer le journalisation binaire

Pour activer la journalisation binaire (obligatoire pour la CDC déplacement), les paramètres suivants doivent être configurés dans les fichiers MySQL my.ini (Windows) ou my.cnf (UNIX).

Paramètres de journalisation binaire
Paramètre	Valeur
server_id	N'importe quelle valeur de 1. Exemple : server_id=1
log-bin=<path>	Chemin d'accès au fichier du journal binaire (sans extension). Exemple : log-bin=E:\MySql_Logs\BinLog
binlog_format	Doit être : binlog_format=row
expire_logs_days	Afin d'éviter des problèmes d'espace de disque, nous conseillons fortement de ne pas utiliser la valeur par défaut (0). Exemple : expire_logs_days=5
binlog_row_image	Doit être : binlog_row_image=full

Conditions préalables requises de l'utilisation des clusters

Pour pouvoir effectuer l'opération Déplacer sur des tables (NDB) en cluster (en établissant une connexion à l'un des nœuds du cluster), il convient de configurer les paramètres suivants dans les fichiers my.ini (Windows) or my.cnf (UNIX) de MySQL.

Si Percona est utilisé comme source, il n'est pas nécessaire de suivre les procédures décrites dans cette section.

Paramètres du cluster
Paramètre	Valeur
ndb_log_bin	Doit être : ndb_log_bin=on Garantit que les modifications apportées aux tables en cluster sont consignées dans un journal binaire.
ndb_log_update_as_write	Doit être : ndb_log_update_as_write=OFF Empêche la rédaction d'opérations UPDATE comme des opérations INSERT dans le journal binaire
ndb_log_updated_only	Doit être : ndb_log_updated_only=OFF Garantit que le journal binaire contient la ligne complète et pas seulement les colonnes modifiées.

Capture de modifications provenant de Google Cloud pour MySQL

Journalisation binaire

La capture des modifications exige une journalisation binaire. Pour s'assurer de l'activation de la journalisation (effectuée par défaut), assurez-vous que le paramètre binlog_row_image de la base de données est définit sur complet.

Réplication

La réplication permet de copier les données disponibles sur le serveur de base de données primaire vers un ou plusieurs serveurs secondaires.

Le dépôt temporaire des données peut s'effectuer depuis un serveur primaire ou un serveur secondaire.

Pour capturer les modifications d'un serveur secondaire, le paramètre de journalisation binaire log_slave_updates doit être défini sur true (1).

Capture de modifications provenant d'Amazon RDS pour MySQL et d'Amazon Aurora pour MySQL

Journalisation binaire

Pour configurer Amazon RDS pour MySQL ou Amazon Aurora pour MySQL pour CDC :

Suivez les instructions de l'aide d'AWS pour créer un nouveau groupe de paramètres (voir la section Format de journalisation binaire).
Lors de la création du nouveau groupe de paramètres, définissez : binlog_format=row
Enregistrez le nouveau Groupe de paramètres.
Si vous avez une instance existante d'Amazon RDS pour MySQL, modifiez l'instance pour utiliser le paramètre spécifié à l'étape 2 ci-dessus. Si vous provisionnez une nouvelle instance d'Amazon RDS pour MySQL, faites référence au nouveau groupe de paramètres créé à l'étape 1 ci-dessus.
Enfin, assurez-vous que la sauvegarde automatique est activée (par défaut).

Pour d'informations ici : https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_LogAccess.MySQL.BinaryFormat.html

Réplication

La réplication permet de copier les données disponibles sur le serveur de base de données primaire vers un ou plusieurs serveurs secondaires.

Le dépôt temporaire des données peut s'effectuer depuis un serveur primaire ou un serveur secondaire.

Pour capturer les modifications d'un serveur secondaire, le paramètre de journalisation binaire log_slave_updates doit être défini sur true (1).

Capture de modifications provenant de la base de données Microsoft Azure pour MySQL

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici