Zu Hauptinhalt springen Zu ergänzendem Inhalt springen

Azure Synapse Analytics

Sie können Azure Synapse Analytics als eine Zieldatenplattform in einer Daten-Pipeline verwenden. In einer Daten-Pipeline können verschiedene ELT-Vorgänge auf der Zielplattform durchgeführt werden, wie das Speichern oder Umwandeln von Daten, das Erstellen von Data Marts und die Datenregistrierung.

Das Einrichten von Azure Synapse Analytics als Ziel bedeutet:

Einrichten eines Cloud-Bereitstellungsbereichs

InformationshinweisWenn Sie vorhandene Daten registrieren, brauchen Sie keinen Cloud-Bereitstellungsbereich einzurichten.

Sie benötigen auch einen Azure Data Lake Storage-Cloud-Bereitstellungsbereich, in dem Daten und Änderungen bereitgestellt werden, bevor sie angewendet und gespeichert werden. Weitere Informationen zum Einrichten einer Verbindung zu Azure Data Lake Storage finden Sie unter Azure Data Lake Storage.

Einstellen der Azure Synapse Analytics-Verbindungseigenschaften

Nachdem Sie die Einstellungen für das Azure Data Lake Storage-Ziel angegeben haben, gehen Sie wie folgt vor:

  1. Klicken Sie in Verbindungen auf Verbindung erstellen.

  2. Wählen Sie den Konnektor für denAzure Synapse Analytics-Zielkonnektor aus und geben Sie dann die folgenden Einstellungen an:

Datenziel

InformationshinweisDieses Feld ist für Qlik Talend Cloud Starter-Abonnements nicht verfügbar, da Data Movement Gateway für diese Abonnementstufe nicht unterstützt wird.

Ein Data Movement Gateway ist nur erforderlich, wenn die Zieldatenbank nicht über Qlik Cloud, sondern nur über einen Private Link erreichbar ist (wenn sie sich z. B. in einer Virtual Private Cloud befindet). Wählen Sie in diesem Fall das Data Movement Gateway aus, über das Sie auf die Zieldatenbank zugreifen möchten.

Abhängig von Ihrem Anwendungsfall ist dies das gleiche Data Movement Gateway, das zum Verschieben von Daten aus der Datenquelle bereitgestellt wurde, oder ein anderes.

Informationen zu Anwendungsfällen für Data Movement Gateway finden Sie unter Wann ist Data Movement Gateway erforderlich? und Häufige Anwendungsfälle.

Wenn auf die Zieldatenbank direkt über Qlik Cloud zugegriffen werden kann, wählen Sie Keine aus.

InformationshinweisWenn Sie über Data Movement Gateway auf die Zieldatenbank zugreifen, müssen Sie auch den entsprechenden Treiber auf dem Data Movement Gateway-Rechner installieren. Weitere Einzelheiten finden Sie unter Azure Synapse Analytics unten.

Verbindungseigenschaften

  • Server: Hostname zum Identifizieren des Speicherorts der Azure Synapse Analytics-Datenbank.

  • Port: Der Port, über den Sie auf Ihre Azure Synapse Analytics-Datenbank zugreifen möchten. Standard ist 1433.

Kontoeigenschaften

Benutzername und Kennwort: Benutzername und Kennwort eines Benutzers, der zum Zugriff auf die Azure Synapse Analytics-Datenbank berechtigt ist.

Datenbankeigenschaften

  • Datenbankname: Es gibt zwei Methoden zum Angeben einer Datenbank:

    • Methode 1 – Aus einer Liste auswählen: Für diese Methode muss der Benutzer in der Master-Datenbank erstellt sein. Klicken Sie auf Datenbanken laden und wählen Sie dann eine Datenbank aus.
    • Methode 2 – Manuell: Wählen Sie Datenbanknamen manuell eingeben aus und geben Sie dann den Datenbanknamen ein.

Datenladeeigenschaften

InformationshinweisWenn Sie nur Daten registrieren (also nicht bereitstellen), sind diese Felder nicht erforderlich.

Die SQL Server-Anmeldedaten können während der Laufzeit automatisch erstellt werden (Standard), oder Sie können vorhandene Anmeldedaten verwenden. Gehen Sie entsprechend wie folgt vor:

  • Wenn das Kontrollkästchen SQL Server-Anmeldedaten erstellen aktiviert ist (Standard), werden die SQL Server-Anmeldedaten während der Laufzeit automatisch erstellt. Geben Sie Ihren Zugriffsschlüssel im Feld Zugriffsschlüssel an.
  • Um vorhandene Anmeldedaten zu verwenden, deaktivieren Sie das Kontrollkästchen SQL Server-Anmeldedaten und geben Sie Ihren SQL Server-Anmeldenamen in das Feld Anmeldename ein.

Name

Der Anzeigename für die Verbindung.

Voraussetzungen

Berechtigungen

Sie benötigen sowohl Speicher- aus auch Datenbankberechtigungen, wie unten beschrieben.

Speicherberechtigungen

Dem im Azure Synapse Analytics-Konnektor angegebenen Benutzer müssen die folgenden Speicherberechtigungen gewährt werden.

  • Im ADLS Gen2-Speichercontainer: LIST
  • Im ADLS Gen2-Speicherordner: READ, WRITE und DELETE
  • Weisen Sie in den Zugangskontrolleinstellungen (IAM) für das ADLS Gen2-Dateisystem die Rolle “Speicher-Blobdaten-Beitragender” zu Data Movement Gateway (AD App-ID) zu. Es dauert möglicherweise einige Minuten, bis die Rolle wirksam wird.

Datenbankberechtigungen

Dem im Azure Synapse Analytics-Konnektor angegebenen Benutzer müssen die folgenden Berechtigungen für die Datenbank gewährt werden:

  • Allgemeine Berechtigungen:

    • Rolle db_owner
  • Tabellenberechtigungen:

    • SELECT, INSERT, UPDATE und DELETE
    • Mehrfach-Laden
    • CREATE, ALTER, DROP (falls von der Definition der Aufgabe gefordert)

Datenbankauswahl

Damit eine Datenbank ausgewählt werden kann (durch Klicken auf Datenbanken laden im Konnektor-Dialogfeld) muss der Benutzer, der in den Konnektoreinstellungen angegeben ist, in der Master-Datenbank erstellt sein.

Treibereinrichtung

Ein Treiber ist nur erforderlich, wenn Sie über Data Movement Gateway auf die Datenbank zugreifen. Installieren Sie in diesem Fall den Treiber auf dem Data Movement Gateway-Rechner.

Sie können den driver mit dem Treiberinstallations-Dienstprogramm (empfohlen) oder manuell installieren. Eine manuelle Installation sollte nur in dem unwahrscheinlichen Fall versucht werden, dass Sie beim Verwenden des Treiberinstallations-Dienstprogramms auf Probleme stoßen.

Verwenden des Treiberinstallations-Dienstprogramms zum Installieren des Treibers

In diesem Abschnitt wird die Installation des erforderlichen driver beschrieben. Der Prozess umfasst das Ausführen eines Skripts, das den erforderlichen driver automatisch herunterlädt, installiert und konfiguriert. Sie können auch Skripte ausführen, um den driver bei Bedarf zu aktualisieren und zu deinstallieren.

  • Vergewissern Sie sich, dass Python 3.6 oder höher auf dem Data Movement-Gateway-Server installiert ist.

    Python ist in den meisten Linux-Distributionen vorinstalliert. Führen Sie den folgenden Befehl aus, um zu prüfen, welche Python-Version auf Ihrem System installiert ist.

    python3 --version

So laden Sie den driver herunter und installieren ihn:

  1. Halten Sie den Data Movement Gateway-Dienst an:

    sudo systemctl stop repagent

  2. Bestätigen Sie optional, dass der Dienst angehalten wurde:

    sudo systemctl status repagent

    Der Status lautet wie folgt:

    Active: inactive (dead) since <timestamp> ago

  3. Ändern Sie auf dem Data Movement-Gateway-Computer das Arbeitsverzeichnis zu:

    opt/qlik/gateway/movement/drivers/bin

  4. Führen Sie den folgenden Befehl aus:

    Syntax:

    ./install sqlserver

    Wenn der driver (aufgrund von Zugriffsbeschränkungen oder technischen Fehlern) nicht heruntergeladen werden kann, wird eine Meldung mit Anleitungen dazu angezeigt, wo Sie den driver herunterladen können und wohin er im Data Movement-Gateway-Computer kopiert werden muss. Führen Sie dann den Befehl install sqlserver erneut aus.

    Andernfalls wird die Endbenutzer-Lizenzvereinbarung für den driver angezeigt.

  5. Gehen Sie folgendermaßen vor:

    • Drücken Sie mehrmals die [Eingabetaste], um langsam durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
    • Drücken Sie mehrmals die Leertaste, um schnell durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
    • Drücken Sie q, um den Lizenztext zu schließen und die Optionen zum Akzeptieren der Endbenutzer-Lizenzvereinbarung anzuzeigen.
  6. Gehen Sie folgendermaßen vor:

    • Geben Sie „y“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung zu akzeptieren und mit der Installation zu beginnen.
    • Geben Sie „n“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung abzulehnen und den Installationsvorgang abzubrechen.
    • Geben Sie „v“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung erneut anzuzeigen.

  7. Der driver wird installiert.

  8. Warten Sie, bis die Installation abgeschlossen ist („Complete!“ wird angezeigt) und starten Sie dann den Data Movement Gateway-Dienst:

    sudo systemctl start repagent

  9. Bestätigen Sie optional, dass der Dienst gestartet wurde:

    sudo systemctl status repagent

    Der Status lautet wie folgt:

    Active: active (running) since <timestamp> ago

Führen Sie den Befehl „update“ aus, wenn Sie vorherige Versionen des driver deinstallieren möchten, bevor Sie den bereitgestellten driver installieren.

So laden Sie den driver herunter und aktualisieren ihn:

  1. Halten Sie den Data Movement Gateway-Dienst an:

    sudo systemctl stop repagent

  2. Bestätigen Sie optional, dass der Dienst angehalten wurde:

    sudo systemctl status repagent

    Der Status lautet wie folgt:

    Active: inactive (dead) since <timestamp> ago

  3. Ändern Sie auf dem Data Movement-Gateway-Computer das Arbeitsverzeichnis zu:

    opt/qlik/gateway/movement/drivers/bin

  4. Führen Sie den folgenden Befehl aus:

    Syntax:

    ./update sqlserver

    Wenn der driver (aufgrund von Zugriffsbeschränkungen oder technischen Fehlern) nicht heruntergeladen werden kann, wird eine Meldung mit Anleitungen dazu angezeigt, wo Sie den driver herunterladen können und wohin er im Data Movement-Gateway-Computer kopiert werden muss. Führen Sie dann den Befehl update sqlserver erneut aus.

    Andernfalls wird die Endbenutzer-Lizenzvereinbarung für den driver angezeigt.

  5. Gehen Sie folgendermaßen vor:

    • Drücken Sie mehrmals die [Eingabetaste], um langsam durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
    • Drücken Sie mehrmals die Leertaste, um schnell durch die Endbenutzer-Lizenzvereinbarung zu scrollen.
    • Drücken Sie q, um den Lizenztext zu schließen und die Optionen zum Akzeptieren der Endbenutzer-Lizenzvereinbarung anzuzeigen.
  6. Gehen Sie folgendermaßen vor:

    • Geben Sie „y“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung zu akzeptieren und mit der Installation zu beginnen.
    • Geben Sie „n“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung abzulehnen und den Installationsvorgang abzubrechen.
    • Geben Sie „v“ ein und drücken Sie die [Eingabetaste], um die Endbenutzer-Lizenzvereinbarung von Anfang an anzuzeigen.
  7. Der alte driver wird deinstalliert und der neue driver installiert.

  8. Warten Sie, bis die Installation abgeschlossen ist („Complete!“ wird angezeigt) und starten Sie dann den Data Movement Gateway-Dienst:

    sudo systemctl start repagent

  9. Bestätigen Sie optional, dass der Dienst gestartet wurde:

    sudo systemctl status repagent

    Der Status lautet wie folgt:

    Active: active (running) since <timestamp> ago

Führen Sie den Befehl „uninstall“ aus, wenn Sie den driver deinstallieren möchten.

So deinstallieren Sie den driver:

  1. Halten Sie alle Aufgaben an, die für die Verwendung dieses Konnektors konfiguriert sind.

  2. Ändern Sie auf dem Data Movement-Gateway-Computer das Arbeitsverzeichnis zu:

    opt/qlik/gateway/movement/drivers/bin

  3. Führen Sie den folgenden Befehl aus:

    Syntax:

    ./uninstall sqlserver

    Der driver wird deinstalliert.

Manuelles Installieren des Treibers

Nehmen Sie nur dann eine manuelle Installation des driver vor, wenn die automatische Treiberinstallation nicht erfolgreich abgeschlossen werden konnte.

Sie müssen sowohl einen ODBC-Treiber als auch einen JDBC-Treiber installieren.

Nachdem Data Movement Gateway installiert wurde, laden Sie den Treiber msodbcsql<version>.x86_64.rpm herunter. Einen direkten Download-Link zur unterstützten Version finden Sie unter binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Kopieren Sie nach Abschluss des Downloads die RPM auf den Data Movement Gateway-Rechner.

Öffnen Sie auf dem Data Movement gateway-Server eine Shell-Eingabeaufforderung und führen Sie Folgendes durch:

  1. Halten Sie den Data Movement gateway-Dienst an:

    sudo systemctl stop repagent

  2. Bestätigen Sie optional, dass der Dienst angehalten wurde:

    sudo systemctl status repagent

  3. Der Status lautet wie folgt:

    Active: inactive (dead) since <timestamp> ago

  4. Installieren Sie den Treiber (RPM).

  5. Ändern Sie das Arbeitsverzeichnis in <product_dir>/bin.

  6. Kopieren Sie den Treiberspeicherort wie folgt in die Datei site_arep_login.sh:

    echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

    Dadurch wird der Treiber zu „LD_LIBRARY_PATH“ hinzugefügt und der Treiberspeicherort in der Datei site_arep_login.sh hinzugefügt.

  7. Bestätigen Sie optional, dass der Speicherort des Treibers kopiert wurde:

    cat site_arep_login.sh
  8. Starten Sie den Data Movement gateway-Dienst:

    sudo systemctl start repagent

  9. Bestätigen Sie optional, dass der Dienst gestartet wurde:

    sudo systemctl status repagent

    Der Status lautet wie folgt:

    Active: active (running) since <timestamp> ago

  10. Data Movement gateway erfordert die folgende ODBC-Bibliothek: msodbcsql-18.1.so.1.1

    Um zu prüfen, welche Bibliotheksversion derzeit installiert ist, führen Sie den folgenden Befehl aus:

    ls /opt/microsoft/msodbcsql<version>/lib64/

    Wenn die vorhandene Bibliothek eine andere Versionsnummer hat (z. B. libmsodbcsql-18.0.so.1.1), müssen Sie einen symbolischen Link zwischen der bestehenden Bibliothek und der erforderlichen Bibliothek erstellen.

    Führen Sie dazu die folgenden Befehle aus:

    cd /opt/microsoft/msodbcsql<version>/lib64/
    ln -s existing_library_name msodbcsql-18.1.so.1.1

    wo existing_library_name der Name der derzeit installierten Bibliothek ist (z. B. libmsodbcsql-18.0.so.1.1).

  1. Laden Sie die Datei mssql-jdbc-<version>.jar herunter. Einen direkten Download-Link zur unterstützten Version finden Sie unter binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Kopieren Sie nach Abschluss des Downloads die JAR-Datei in den folgenden Ordner auf dem Data Movement Gateway-Rechner.

    /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

  2. Starten Sie den Data Movement Gateway-Dienst neu, indem Sie den in Neustarten des Diensts beschriebenen Befehl ausführen.

Ports

  • Wenn Data Movement Gateway auf einem Rechner außerhalb von Azure ausgeführt wird - Öffnen Sie Port 1433 für die ausgehende Kommunikation.
  • Wenn Data Movement Gateway auf einer AzureVM ausgeführt wird - Öffnen Sie die folgenden Ports für die ausgehende Kommunikation:
    • 1433
    • 11000-11999
    • 14000-14999

Einschränkungen und Überlegungen

Wenn Sie Azure Synapse Analytics als Ziel verwenden, müssen Sie die folgenden Einschränkungen und Überlegungen beachten:

  • Quellspalten mit CHAR/VARCHAR-Datentypen und Sortierung nicht lateinischer Zeichen (z. B. „Chinese_PRC_CI_AS“) müssen NVARCHAR zugeordnet sein.

  • Verarbeitung leerer Quellspalten:

    • Wenn verschieben eine binäre Quellspalte (z. B. VARBINARY oder BLOB) mit einem leeren Wert ist, fügt Qlik Talend Data Integration NULL in die entsprechende Zielspalte ein.

    InformationshinweisLeere Werte sind nicht NULL, sondern Daten mit null Länge.
  • Verschieben von Datensätzen mit mehr als 1 MB wird nicht unterstützt.
  • Für Verschieben von Daten mit 4-Byte-Emoji-Zeichen muss der Datentyp ein Breitzeichen-String (z. B. NCHAR/NVARCHAR/NCLOB) im Ziel sein.

Datentypen

Die folgenden Tabellen zeigen die Azure Synapse Analytics-Datentypen, die bei der Verwendung von Qlik Cloud unterstützt werden, sowie die Standardzuordnung von Qlik Cloud-Datentypen.

Informationen zum nativen Datentyp werden beibehalten und in der Spalte Nativer Datentyp in Datensatzansichten angezeigt. Wenn die Spalte nicht angezeigt wird, müssen Sie die Spaltenauswahl in der Datensatzansicht öffnen und die Spalte Nativer Datentyp auswählen.

Unterstützte Datentypen
Qlik Cloud-Datentypen Azure Synapse Analytics-Datentypen

BOOLEAN

BIT

BYTES

VARBINARY (Länge in Byte)

DATE

DATE

TIME

TIME

DATETIME

DATETIME

INT1

BYTEINT

INT2

SMALLINT

INT4

INTEGER

INT8

BIGINT

NUMERIC

NUMERIC (Genauigkeit, Dezimalstellen)

REAL4

REAL

REAL8

FLOAT

UINT1

BYTEINT

UINT2

INTEGER

UINT4

INTEGER

UINT8

BIGINT

STRING

VARCHAR (Länge in Byte)

WSTRING

NVARCHAR (Länge in Byte)

BLOB

VARBINARY (Länge in Byte)

NCLOB

NVARCHAR (Länge in Byte)

CLOB

VARCHAR (Länge in Byte)

Hat diese Seite Ihnen geholfen?

Wenn Sie Probleme mit dieser Seite oder ihren Inhalten feststellen – einen Tippfehler, einen fehlenden Schritt oder einen technischen Fehler –, teilen Sie uns bitte mit, wie wir uns verbessern können!