Microsoft Fabric
Sie können Microsoft Fabric als eine Zieldatenplattform in einer Daten-Pipeline oder einer Replikationsaufgabe. In einer Daten-Pipeline können verschiedene ELT-Vorgänge auf der Zielplattform durchgeführt werden, wie das Speichern oder Umwandeln von Daten, das Erstellen von Data Marts und die Datenregistrierung. Im Gegensatz dazu werden bei einer Replikationsaufgabe die Daten direkt aus einem Quellsystem in ein Zielsystem mit grundlegenden Umwandlungsfunktionen repliziert. ELT-Vorgänge werden nicht unterstützt. verwenden.
Das Einrichten von Microsoft Fabric als Ziel bedeutet:
- Erfüllen der Voraussetzungen
- Konfigurieren einer Verbindung zu einem Cloud-Bereitstellungsbereich (Azure Data Lake Storage). Dies ist nicht erforderlich, wenn Sie vorhandene Daten registrieren.
- Konfigurieren einer Verbindung zu Microsoft Fabric
Einrichten eines Cloud-Bereitstellungsbereichs
Sie benötigen auch einen Azure Data Lake Storage-Cloud-Bereitstellungsbereich, in dem Daten und Änderungen bereitgestellt werden, bevor sie angewendet und gespeichert werden. Weitere Informationen zum Einrichten einer Verbindung zu Azure Data Lake Storage finden Sie unter Azure Data Lake Storage.
Einrichten der Microsoft Fabric-Verbindungseigenschaften
Nachdem Sie die Einstellungen für das Azure Data Lake Storage-Ziel angegeben haben, gehen Sie wie folgt vor:
-
Klicken Sie in Verbindungen auf Verbindung erstellen.
-
Wählen Sie den Konnektor für denMicrosoft Fabric -Zielkonnektor aus und geben Sie dann die folgenden Einstellungen an:
Datenziel
Daten-Gateway
Ein Data Movement Gateway ist nur erforderlich, wenn die Zieldatenbank nicht über Qlik Cloud, sondern nur über einen Private Link erreichbar ist (wenn sie sich z. B. in einer Virtual Private Cloud befindet). Wählen Sie in diesem Fall das Data Movement Gateway aus, über das Sie auf die Zieldatenbank zugreifen möchten.
Abhängig von Ihrem Anwendungsfall ist dies das gleiche Data Movement Gateway, das zum Verschieben von Daten aus der Datenquelle bereitgestellt wurde, oder ein anderes.
Informationen zu Anwendungsfällen für Data Movement Gateway finden Sie unter Wann ist Data Movement Gateway erforderlich? und Häufige Anwendungsfälle.
Wenn auf die Zieldatenbank direkt über Qlik Cloud zugegriffen werden kann, wählen Sie Keine aus.
Verbindungseigenschaften
- Server: Der Name des Microsoft Fabric Data Warehouse-Servers, den Sie verwenden.
Kontoeigenschaften
Authentifizierungsmethode: Wählen Sie eine der folgenden Optionen aus:
-
Azure Active Directory-Dienstprinzipal
Geben Sie dann in den entsprechenden Feldern die Client-ID und den geheimen Client-Schlüssel ein.
-
Azure Active Directory-Benutzerprinzipal
Geben Sie dann in den entsprechenden Feldern einen Benutzernamen und ein Kennwort ein.
Datenbankeigenschaften
-
Datenbankname: Es gibt zwei Methoden zum Angeben einer Datenbank:
- Methode 1 – Aus einer Liste auswählen: Klicken Sie auf Datenbanken laden und wählen Sie dann eine Datenbank aus.
- Methode 2 – Manuell: Wählen Sie Datenbanknamen manuell eingeben aus und geben Sie dann den Datenbanknamen ein.
Daten laden
-
SAS-Token: Das SAS-Token, das von Microsoft Fabric für den Zugriff auf das ADLS-Speicherkonto verwendet wird. Dies ist nicht erforderlich, wenn Sie vorhandene Daten registrieren.
Name
Der Anzeigename für die Verbindung.
Voraussetzungen
Datenbankberechtigungen
Der Azure Active Directory-Benutzer-/Dienstprinzipal, der im Abschnitt ODBC Access der Microsoft Fabric Konnektor-Einstellungen angegeben wurde, muss die Rolle „Mitwirkender“ haben.
Treibereinrichtung
Ein Treiber ist nur erforderlich, wenn Sie über Data Movement Gateway auf die Datenbank zugreifen. Installieren Sie in diesem Fall den Treiber auf dem Data Movement Gateway-Rechner.
Sie können den driver mit dem Treiberinstallations-Dienstprogramm (empfohlen) oder manuell installieren. Eine manuelle Installation sollte nur in dem unwahrscheinlichen Fall versucht werden, dass Sie beim Verwenden des Treiberinstallations-Dienstprogramms auf Probleme stoßen.
Verwenden des Treiberinstallations-Dienstprogramms zum Installieren des Treibers
In diesem Abschnitt wird die Installation des erforderlichen driver beschrieben. Der Prozess umfasst das Ausführen eines Skripts, das den erforderlichen driver automatisch herunterlädt, installiert und konfiguriert. Sie können auch Skripte ausführen, um den driver bei Bedarf zu aktualisieren und zu deinstallieren.
Vorbereiten der Installation
-
Vergewissern Sie sich, dass Python 3.6 oder höher auf dem Data Movement-Gateway-Server installiert ist.
Python ist in den meisten Linux-Distributionen vorinstalliert. Führen Sie den folgenden Befehl aus, um zu prüfen, welche Python-Version auf Ihrem System installiert ist.
python3 --version
Installieren von driver
So laden Sie den driver herunter und installieren ihn:
-
Halten Sie den Data Movement Gateway-Dienst an:
sudo systemctl stop repagent
-
Bestätigen Sie optional, dass der Dienst angehalten wurde:
sudo systemctl status repagent
Der Status lautet wie folgt:
Active: inactive (dead) since <timestamp> ago
-
Ändern Sie auf dem Data Movement-Gateway-Computer das Arbeitsverzeichnis zu:
opt/qlik/gateway/movement/drivers/bin
-
Führen Sie den folgenden Befehl aus:
Syntax:
./install fabric
Wenn der driver (aufgrund von Zugriffsbeschränkungen oder technischen Fehlern) nicht heruntergeladen werden kann, wird eine Meldung mit Anleitungen dazu angezeigt, wo Sie den driver herunterladen können und wohin er im Data Movement-Gateway-Computer kopiert werden muss. Führen Sie dann den Befehl install fabric erneut aus.
Andernfalls wird die Endbenutzer-Lizenzvereinbarung für den driver angezeigt.
-
Gehen Sie folgendermaßen vor:
- Drücken Sie mehrmals die [Eingabetaste], um langsam durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
- Drücken Sie mehrmals die Leertaste, um schnell durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
- Drücken Sie q, um den Lizenztext zu schließen und die Optionen zum Akzeptieren der Endbenutzer-Lizenzvereinbarung anzuzeigen.
-
Gehen Sie folgendermaßen vor:
- Geben Sie „y“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung zu akzeptieren und mit der Installation zu beginnen.
- Geben Sie „n“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung abzulehnen und den Installationsvorgang abzubrechen.
-
Geben Sie „v“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung erneut anzuzeigen.
-
Warten Sie, bis die Installation abgeschlossen ist („Complete!“ wird angezeigt) und starten Sie dann den Data Movement Gateway-Dienst:
sudo systemctl start repagent
-
Bestätigen Sie optional, dass der Dienst gestartet wurde:
sudo systemctl status repagent
Der Status lautet wie folgt:
Active: active (running) since <timestamp> ago
Der driver wird installiert.
Aktualisieren des driver
Führen Sie den Befehl „update“ aus, wenn Sie vorherige Versionen des driver deinstallieren möchten, bevor Sie den bereitgestellten driver installieren.
So laden Sie den driver herunter und aktualisieren ihn:
-
Halten Sie den Data Movement Gateway-Dienst an:
sudo systemctl stop repagent
-
Bestätigen Sie optional, dass der Dienst angehalten wurde:
sudo systemctl status repagent
Der Status lautet wie folgt:
Active: inactive (dead) since <timestamp> ago
-
Ändern Sie auf dem Data Movement-Gateway-Computer das Arbeitsverzeichnis zu:
opt/qlik/gateway/movement/drivers/bin
-
Führen Sie den folgenden Befehl aus:
Syntax:
./update fabric
Wenn der driver (aufgrund von Zugriffsbeschränkungen oder technischen Fehlern) nicht heruntergeladen werden kann, wird eine Meldung mit Anleitungen dazu angezeigt, wo Sie den driver herunterladen können und wohin er im Data Movement-Gateway-Computer kopiert werden muss. Führen Sie dann den Befehl update fabric erneut aus.
Andernfalls wird die Endbenutzer-Lizenzvereinbarung für den driver angezeigt.
-
Gehen Sie folgendermaßen vor:
- Drücken Sie mehrmals die [Eingabetaste], um langsam durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
- Drücken Sie mehrmals die Leertaste, um schnell durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
- Drücken Sie q, um den Lizenztext zu schließen und die Optionen zum Akzeptieren der Endbenutzer-Lizenzvereinbarung anzuzeigen.
-
Gehen Sie folgendermaßen vor:
- Geben Sie „y“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung zu akzeptieren und mit der Installation zu beginnen.
- Geben Sie „n“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung abzulehnen und den Installationsvorgang abzubrechen.
- Geben Sie „v“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung von Anfang an anzuzeigen.
-
Warten Sie, bis die Installation abgeschlossen ist („Complete!“ wird angezeigt) und starten Sie dann den Data Movement Gateway-Dienst:
sudo systemctl start repagent
-
Bestätigen Sie optional, dass der Dienst gestartet wurde:
sudo systemctl status repagent
Der Status lautet wie folgt:
Active: active (running) since <timestamp> ago
Der alte driver wird deinstalliert und der neue driver installiert.
Deinstallieren des driver
Führen Sie den Befehl „uninstall“ aus, wenn Sie den driver deinstallieren möchten.
So deinstallieren Sie den driver:
-
Halten Sie alle Aufgaben an, die für die Verwendung dieses Konnektors konfiguriert sind.
-
Ändern Sie auf dem Data Movement-Gateway-Computer das Arbeitsverzeichnis zu:
opt/qlik/gateway/movement/drivers/bin
-
Führen Sie den folgenden Befehl aus:
Syntax:
./uninstall fabric
Der driver wird deinstalliert.
Manuelles Installieren des Treibers
Nehmen Sie nur dann eine manuelle Installation des driver vor, wenn die automatische Treiberinstallation nicht erfolgreich abgeschlossen werden konnte.
Sie müssen sowohl einen ODBC-Treiber als auch einen JDBC-Treiber installieren.
Installieren des ODBC-Treibers
Nachdem Data Movement Gateway installiert wurde, laden Sie den Treiber msodbcsql<version>.x86_64.rpm herunter. Einen direkten Download-Link zur unterstützten Version finden Sie unter binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml. Kopieren Sie nach Abschluss des Downloads die RPM auf den Data Movement Gateway-Rechner.
-
Halten Sie den Data Movement Gateway-Dienst an:
sudo systemctl stop repagent
-
Bestätigen Sie optional, dass der Dienst angehalten wurde:
sudo systemctl status repagent
-
Installieren Sie den Treiber auf dem Data Movement Gateway-Rechner.
-
Kopieren Sie den Treiberspeicherort wie folgt in die Datei
site_arep_login.sh
:echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh
Beispiel:
echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql17/lib64/" >> site_arep_login.sh
Dadurch wird der Treiber zu „LD_LIBRARY_PATH“ hinzugefügt und der Treiberspeicherort in der Datei site_arep_login.sh hinzugefügt.
-
Bestätigen Sie optional, dass der Speicherort des Treibers kopiert wurde:
cat site_arep_login.sh
-
Starten Sie den Data Movement Gateway-Dienst:
sudo systemctl start repagent
-
Bestätigen Sie optional, dass der Dienst gestartet wurde:
sudo systemctl status repagent
Der Status lautet wie folgt:
Active: active (running) since <timestamp> ago
Der Status lautet wie folgt:
Active: inactive (dead) since <timestamp> ago
Installieren des JDBC-Treibers
-
Laden Sie die JAR-Dateien herunter, die Sie unter binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml finden: Kopieren Sie die Dateien dann in den folgenden Ordner auf dem Data Movement Gateway-Rechner:
/opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib
-
Starten Sie den Data Movement Gateway-Dienst neu, indem Sie den in Neustarten des Diensts beschriebenen Befehl ausführen.
Ports
Öffnen Sie Port 1433 für ausgehende Kommunikation.
Einschränkungen und Überlegungen
Die folgenden Vorgänge werden nicht unterstützt und werden nicht aufr das Ziel angewendet:
- Spalte UMBENENNEN
- Spalte HINZUFÜGEN/LÖSCHEN/BEARBEITEN
BLOB- und BYTES-Spalten werden nicht unterstützt. Wenn Ihre Quelltabellen Spalten mit diesen Datentypen enthalten, können Sie eine Umwandlung verwenden, um sie in STRING zu konvertieren oder aus der Replikation auszuschließen.
Datentypen
Die folgenden Tabellen zeigen die Microsoft Fabric-Datentypen, die bei der Verwendung von Qlik Cloud unterstützt werden, sowie die Standardzuordnung von Qlik Cloud-Datentypen.
Informationen zum nativen Datentyp werden beibehalten und in der Spalte Nativer Datentyp in Datensatzansichten angezeigt. Wenn die Spalte nicht angezeigt wird, müssen Sie die Spaltenauswahl in der Datensatzansicht öffnen und die Spalte Nativer Datentyp auswählen.
Qlik Talend Data Integration Datentypen | Microsoft Fabric-Datentypen |
---|---|
BOOL |
BIT |
BYTES |
Wenn die Länge 1-8000 beträgt, dann: VARBINARY (Länge in Byte) Wenn die Länge 8000 überschreitet, dann: VARBINARY (8000) |
DATE |
DATE |
TIME |
Wenn 0-6 Dezimalstellen vorhanden sind, dann: TIME (Dezimalstellen) Wenn mehr als 6 Dezimalstellen vorhanden sind, dann: TIME (6) |
TIMESTAMP |
Wenn 0-6 Dezimalstellen vorhanden sind, dann: DATETIME2 (Dezimalstellen) Wenn mehr als 6 Dezimalstellen vorhanden sind, dann: DATETIME2 (6) |
INT1 |
SMALLINT |
INT2 |
SMALLINT |
INT4 |
INT |
INT8 |
BIGINT |
NUMERIC |
DECIMAL (p,s) |
REAL4 |
FLOAT(24) |
REAL8 |
FLOAT(53) |
STRING |
Wenn die Länge in Byte 1-8000 beträgt, dann: VARCHAR (Länge in Byte) Wenn die Länge 8000 Byte überschreitet, dann: VARCHAR (8000) |
UINT1 |
SMALLINT |
UINT2 |
INT |
UINT4 |
BIGINT |
UINT8 |
DECIMAL (20,0) |
WSTRING |
Wenn die Länge in Byte 1-8000 beträgt, dann: VARCHAR (Länge in Byte) Wenn die Länge 8000 Byte überschreitet, dann: VARCHAR (8000) |
BLOB |
VARBINARY (8000) Informationshinweis
|
NCLOB |
VARCHAR (8000) |
CLOB |
VARCHAR (8000) |