Accéder au contenu principal Passer au contenu complémentaire

Microsoft Fabric

Vous pouvez utiliser Microsoft Fabric comme plate-forme de données cible dans un pipeline de données ou une tâche de réplication. Dans un pipeline de données, il est possible d'effectuer différentes opérations ELT sur la plate-forme cible, notamment le stockage de données, la transformation de données, la création de mini-data warehouses et l'enregistrement de données. Par ailleurs, un tâche de réplication implique la réplication de données directement d'un système de source vers un système cible avec des fonctionnalités de transformation de base, mais sans support des opérations ELT..

Note InformationsNécessite Data Movement gateway 2023.5.15 ou une version ultérieure.

La configuration de Microsoft Fabric comme cible implique les conditions suivantes :

Configuration d'une zone intermédiaire cloud

Note InformationsSi vous enregistrez des données existantes, il n'est pas nécessaire de configurer une zone intermédiaire cloud.

Vous avez également besoin d'une zone intermédiaire cloud Azure Data Lake Storage dans laquelle placer temporairement les données et modifications avant de les appliquer et de les stocker. Pour savoir comment configurer une connexion à Azure Data Lake Storage, voir Azure Data Lake Storage.

Définition des propriétés de connexion de Microsoft Fabric

Une fois que vous avez fourni les paramètres de la Cible Azure Data Lake Storage, procédez comme suit :

  1. Dans Connexions, cliquez sur Créer une connexion.

  2. Sélectionnez le Microsoft Fabric connecteur cible et fournissez les paramètres suivants :

Cible de données

Note InformationsCe champ n'est pas disponible avec l'abonnement Démarreur Qlik Talend Cloud, car Data Movement gateway n'est pas supporté avec ce niveau d'abonnement.

Une Data Movement gateway est nécessaire uniquement si la base de données cible n'est pas accessible depuis Qlik Cloud et est accessible uniquement via un lien privé (par exemple, si elle est située dans un cloud privé virtuel). Si c'est le cas, sélectionnez la Data Movement gateway via laquelle vous souhaitez accéder à la base de données cible.

Suivant votre cas d'utilisation, il s'agira soit de la même Data Movement gateway que celle déployée pour déplacer des données provenant de la source de données, soit d'une autre.

Pour des informations sur les cas d'utilisation de Data Movement gateway, consultez Quand Data Movement gateway est-elle obligatoire ? et Cas d'utilisation courants.

Si la base de données cible est directement accessible depuis Qlik Cloud, sélectionnez Aucune.

Note InformationsLors de l'accès à la base de données cible via Data Movement gateway, vous devez également installer le pilote approprié sur le poste Data Movement gateway. Pour des informations détaillées, voir la section Microsoft Fabric ci-dessous.

Propriétés de connexion

  • Serveur : nom du serveur Microsoft Fabric Data Warehouse que vous utilisez.

Propriétés de compte

Méthode d'authentification : Sélectionnez une des options suivantes :

  • Azure Active Directory Service Principal

    Fournissez ensuite votre Client ID et votre Client Secret dans les champs désignés.

  • Azure Active Directory User Principal

    Fournissez ensuite un User name et un Password dans les champs désignés.

Propriétés de base de données

  • Nom de base de données : il existe deux méthodes à utiliser pour spécifier une base de données :

    • Méthode 1 - Sélection à partir d'une liste : Cliquez sur Charger des bases de données et sélectionnez une base de données.
    • Méthode 2 - Manuellement : Sélectionnez Saisir le nom de base de données manuellement et saisissez le nom de la base de données.

Chargement de données

  • Jeton SAS : jeton SAS qui sera utilisé par Microsoft Fabric pour accéder au compte de stockage ADLS. Cela n'est pas obligatoire, si vous enregistrez des données existantes.

Nom

Nom d'affichage de la connexion.

Conditions préalables requises

Autorisations de base de données

L'utilisateur/le principal de service Azure Active Directory spécifié dans la section Accès ODBC des paramètres Microsoft Fabric connecteur doit être titulaire du rôle Contributeur.

Configuration du pilote

Un pilote est obligatoire uniquement si vous accédez à la base de données via Data Movement gateway. Dans ce cas, vous devez installer le pilote sur le poste Data Movement gateway.

Vous pouvez installer le driver via l'utilitaire d'installation de pilote (recommandé) ou manuellement. Tentez une installation manuelle uniquement dans le cas improbable où vous rencontriez un problème avec l'utilitaire d'installation de pilote.

Utilisation de l'utilitaire d'installation de pilote pour installer le pilote

Cette section explique comment installer le driver requis. Le processus implique l'exécution d'un script qui téléchargera, installera et configurera automatiquement le driver requis. Vous pouvez également exécuter des scripts permettant de mettre à jour et de désinstaller le driver, si nécessaire.

  • Assurez-vous que Python 3.6 ou une version ultérieure est installé sur le serveur de passerelle Déplacement des données.

    Python est préinstallé sur la plupart des distributions Linux. Vous pouvez vérifier la version de Python installée sur votre système en exécutant la commande suivante :

    python3 --version

Pour télécharger et installer le driver :

  1. Arrêtez le service Data Movement gateway :

    sudo systemctl stop repagent

  2. Confirmez éventuellement l'arrêt du service :

    sudo systemctl status repagent

    Le statut doit être comme suit :

    Active: inactive (dead) since <timestamp> ago

  3. Sur le poste de passerelle Déplacement des données, remplacez le répertoire de travail par :

    opt/qlik/gateway/movement/drivers/bin

  4. Exécutez la commande suivante :

    Syntaxe :

    ./install fabric

    Si le driver ne peut pas être téléchargé (en raison de restrictions d'accès ou de problèmes techniques), un message s'affichera, vous indiquant où télécharger et copier le driver sur le poste de passerelle Déplacement des données. Une fois que c'est fait, exécutez de nouveau la commande install fabric.

    Sinon, le CLUF du driver apparaîtra.

  5. Procédez de l'une des manières suivantes :

    • Appuyez à plusieurs reprises sur [Entrée] pour parcourir lentement le CLUF.
    • Appuyez à plusieurs reprises sur la barre d'espace pour parcourir rapidement le CLUF.
    • Appuyez sur q pour quitter le texte de licence et faire apparaître les options d'acceptation du CLUF.
  6. Procédez de l'une des manières suivantes :

    • Saisissez « y » et appuyez sur [Entrée] pour accepter le CLUF et démarrer l'installation.
    • Saisissez « n » et appuyez sur [Entrée] pour rejeter le CLUF et quitter l'installation.
    • Saisissez « v » et appuyez sur [Entrée] pour afficher de nouveau le CLUF.

  7. Le driver sera installé.

  8. Attendez la fin de l'installation (indiquée par « Complete! »), puis démarrez le service Data Movement gateway :

    sudo systemctl start repagent

  9. Confirmez éventuellement le lancement du service :

    sudo systemctl status repagent

    Le statut doit être comme suit :

    Active: active (running) since <timestamp> ago

Exécutez la commande update si vous souhaitez désinstaller des versions précédentes du driver avant d'installer le driver fourni.

Pour télécharger et mettre à jour le driver :

  1. Arrêtez le service Data Movement gateway :

    sudo systemctl stop repagent

  2. Confirmez éventuellement l'arrêt du service :

    sudo systemctl status repagent

    Le statut doit être comme suit :

    Active: inactive (dead) since <timestamp> ago

  3. Sur le poste de passerelle Déplacement des données, remplacez le répertoire de travail par :

    opt/qlik/gateway/movement/drivers/bin

  4. Exécutez la commande suivante :

    Syntaxe :

    ./update fabric

    Si le driver ne peut pas être téléchargé (en raison de restrictions d'accès ou de problèmes techniques), un message s'affichera, vous indiquant où télécharger et copier le driversur le poste de passerelle Déplacement des données. Une fois que c'est fait, exécutez de nouveau la commande update fabric.

    Sinon, le CLUF du driver apparaîtra.

  5. Procédez de l'une des manières suivantes :

    • Appuyez à plusieurs reprises sur [Entrée] pour parcourir lentement le CLUF.
    • Appuyez à plusieurs reprises sur la barre d'espace pour parcourir rapidement le CLUF.
    • Appuyez sur q pour quitter le texte de licence et faire apparaître les options d'acceptation du CLUF.
  6. Procédez de l'une des manières suivantes :

    • Saisissez « y » et appuyez sur [Entrée] pour accepter le CLUF et démarrer l'installation.
    • Saisissez « n » et appuyez sur [Entrée] pour rejeter le CLUF et quitter l'installation.
    • Saisissez « v » et appuyez sur [Entrée] pour passer le CLUF en revue depuis le début.
  7. L'ancien driver sera désinstallé et le nouveau driver sera installé.

  8. Attendez la fin de l'installation (indiquée par « Complete! »), puis démarrez le service Data Movement gateway :

    sudo systemctl start repagent

  9. Confirmez éventuellement le lancement du service :

    sudo systemctl status repagent

    Le statut doit être comme suit :

    Active: active (running) since <timestamp> ago

Exécutez la commande uninstall si vous souhaitez désinstaller le driver.

Pour désinstaller le driver :

  1. Arrêtez toutes les tâches configurées pour utiliser ce connecteur.

  2. Sur le poste de passerelle Déplacement des données, remplacez le répertoire de travail par :

    opt/qlik/gateway/movement/drivers/bin

  3. Exécutez la commande suivante :

    Syntaxe :

    ./uninstall fabric

    le driver sera désinstallé.

Installation manuelle du pilote

Vous devez tenter d'installer manuellement le driver uniquement si l'installation de pilote automatisée n'a pas fonctionné.

Vous devez installer un pilote ODBC et un pilote JDBC.

Une fois la Data Movement gateway installée, téléchargez le pilote msodbcsql<version>.x86_64.rpm. Vous trouverez un lien de téléchargement direct vers la version supportée sous binary-artifacts dans /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml. Une fois le téléchargement terminé, copiez le RPM sur le poste Data Movement gateway.

  1. Arrêtez le service Data Movement gateway :

    sudo systemctl stop repagent

  2. Confirmez éventuellement l'arrêt du service :

    sudo systemctl status repagent

  3. Le statut doit être comme suit :

    Active: inactive (dead) since <timestamp> ago

  4. Installez le pilote sur le poste Data Movement gateway.

  5. Copiez l'emplacement du pilote dans le fichier site_arep_login.sh comme suit :

    echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

    Exemple :

    echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql17/lib64/" >> site_arep_login.sh

    Cette opération ajoute le pilote à "LD_LIBRARY_PATH" et met à jour l'emplacement du pilote dans le fichier site_arep_login.sh .

  6. Confirmez éventuellement que l'emplacement du pilote a été copié :

    cat site_arep_login.sh
  7. Démarrez le service Data Movement gateway :

    sudo systemctl start repagent

  8. Confirmez éventuellement le lancement du service :

    sudo systemctl status repagent

    Le statut doit être comme suit :

    Active: active (running) since <timestamp> ago

  1. Téléchargez les fichiers JAR répertoriés sous binary-artifacts dans /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml. Copiez ensuite les fichiers dans le dossier suivant sur le poste Data Movement gateway :

    /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

  2. Redémarrez le service Data Movement gateway en exécutant la commande décrite à la section Redémarrage du service.

Note AvertissementSi vous utilisez une source de données Microsoft SQL Server (basée sur CDC ou basée sur journal), la désinstallation du pilote Fabric coupera également la connectivité à SQL Server, car ils partagent le même pilote.

Ports

Ouvrez le port 1433 pour la communication sortante.

Limitations et considérations générales

Les opérations suivantes ne sont pas supportées et ne seront pas appliquées à la cible :

  • RENAME column
  • ADD/DROP/ALTER column

Les colonnes BLOB et BYTES ne sont pas supportées. Si vos tables sources contiennent des colonnes avec ces types de données, vous pouvez utiliser une transformation pour les convertir en STRING ou les exclure de la réplication.

Types de données

Le tableau suivant indique les types de données Microsoft Fabric supportés lors de l'utilisation de Qlik Cloud et le mappage par défaut depuis les types de données Qlik Cloud.

Les informations de type de données natif sont préservées et affichées dans la colonne Type de données natif des vues d'ensemble de données. Si la colonne n'est pas visible, vous devez ouvrir le sélecteur de colonnes de la vue d'ensemble de données et sélectionner la colonne Type de données natif.

Types de données supportés
Types de données Qlik Talend Data Integration Types de données Microsoft Fabric

BOOL

BIT

BYTES

If length is 1-8000, then:

VARBINARY (Length in Bytes)

If length exceeds 8000, then:

VARBINARY (8000)

DATE

DATE

TIME

If scale is 0-6, then:

TIME (Scale)

If scale exceeds 6, then:

TIME (6)

TIMESTAMP

If scale is 0-6, then:

DATETIME2 (Scale)

If scale exceeds 6, then:

DATETIME2 (6)

INT1

SMALLINT

INT2

SMALLINT

INT4

INT

INT8

BIGINT

NUMERIC

DECIMAL (p,s)

REAL4

FLOAT(24)

REAL8

FLOAT(53)

STRING

If length in bytes is 1-8000, then:

VARCHAR (Length in Bytes)

If length in bytes exceeds 8000, then:

VARCHAR (8000)

UINT1

SMALLINT

UINT2

INT

UINT4

BIGINT

UINT8

DECIMAL (20,0)

WSTRING

If length in bytes is 1-8000, then:

VARCHAR (Length in Bytes)

If length in bytes exceeds 8000, then:

VARCHAR (8000)

BLOB

VARBINARY (8000)

Note Informations
  • VARBINARY (8000) s'applique à l'ensemble de l'enregistrement. Par exemple, si l'enregistrement contient deux colonnes de BLOB, leur taille totale ne peut dépasser 8 000 octets.
  • Lors de la capture de modifications, le nombre maximal d'octets pouvant être capturés est de 4 000.

NCLOB

VARCHAR (8000)

CLOB

VARCHAR (8000)

Note InformationsLes types de données LOB complet ne sont pas supportés. Pour des informations sur l'inclusion de types de données Taille de LOB limitée dans déplacement, voir Dépôt temporaire de données à partir de sources de données.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !