Azure Data Lake Storage
Azure Data Lake Storage kann wie folgt verwendet werden:
- Als Cloud-Bereitstellungsbereich, wenn Databricks, Microsoft Fabric oder Azure Synapse Analytics als Daten-Pipeline-Ziel verwendet werden. Daten und Änderungen werden im Cloud-Bereitstellungsbereich bereitgestellt, bevor sie angewendet und gespeichert werden.
-
Ein Ziel in einer Replikationsaufgabe.
- Eine Erläuterung, wie Daten an Azure Data Lake Storage mit Standard-, Premium- und Enterprise-Abonnements repliziert werden, finden Sie unter Bereitstellen von Daten in einem Data Lake mit einem Standard-, Premium- oder Enterprise-Abonnement.
- Eine Erläuterung, wie Daten an Azure Data Lake Storage mit dem Starter-Abonnement repliziert werden, finden Sie unter Replizieren von Daten mit einem Qlik Talend Cloud Starter-Abonnement.
Einschränkungen und Überlegungen
Die folgenden Einschränkungen gelten:
- Der vollständige LOB-Modus wird nicht unterstützt.
- Datenbanknamen, Schemanamen oder Tabellennamen, die Schrägstriche (/) oder umgekehrte Schrägstriche (\) enthalten, werden nicht unterstützt.
Speicherberechtigungen
Dem in den Konnektoreinstellungen angegebenen Azure Active Directory-Mandanten müssen die folgenden ADLS Gen2-Speicherberechtigungen gewährt werden.
- Im Speichercontainer: LIST
- Im Speicherordner: READ, WRITE und DELETE
- Weisen Sie in den Zugangskontrolleinstellungen (IAM) für das ADLS Gen2-Dateisystem die Rolle “Speicher-Blobdaten-Beitragender” zu Replicate (AD App-ID) zu. Es dauert möglicherweise einige Minuten, bis die Rolle wirksam wird.
Einrichten von Azure Data Lake Storage-Verbindungseigenschaften
Gehen Sie wie folgt vor, um den Konnektor zu konfigurieren:
-
Klicken Sie in Verbindungen auf Verbindung erstellen.
-
Wählen Sie den Konnektor für denAzure Data Lake Storage -Zielkonnektor aus und geben Sie dann die folgenden Einstellungen an:
Datenziel
Daten-Gateway: Wählen Sie das Data Movement Gateway aus, das zum Testen der Verbindung mit ADLS verwendet wird. Dabei muss es sich um das Data Movement Gateway handeln, das zum Bereitstellen von Daten aus der Datenquelle bereitgestellt wird.
Verbindungseigenschaften
-
Speicherkonto
Name des Speicherkontos
-
Sammelboxname
Name der Sammelbox, die als Cloudbereitstellungsbereich verwendet werden soll
-
Mandanten-ID von Azure Active Directory
Mandanten-ID des Abonnements in Azure Active Directory
-
Client-ID der Azure Anwendungsregistrierung
Client-ID der Anwendung in Azure Active Directory
-
Geheimer Schlüssel der Azure Anwendungsregistrierung
Geheimer Schlüssel der Anwendung in Azure Active Directory
Name
Der Anzeigename für die Verbindung.
Datentypzuordnung
Die folgende Tabelle zeigt die Standardzuordnung von Qlik Cloud-Datentypen zu Azure Data Lake Storage-Zieldatentypen.
Zuordnung von Qlik Cloud-Datentypen zu Azure Data Lake Storage
Qlik Cloud Datentypen | Azure Data Lake Storage-Zieldatentypen |
---|---|
DATE |
DATE |
TIME |
TIME |
DATETIME |
DATETIME |
BYTES |
BYTES (Länge) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
UINT1 (3) |
UINT2 |
UINT2 (5) |
UINT4 |
UINT4 (10) |
UINT8 |
UINT8 (20) |
NUMERIC |
NUMERIC (p,s) |
STRING |
STRING (Länge) |
WSTRING |
STRING (Länge) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
Zuordnung von Qlik Cloud-Datentypen zu Parquet
Wenn Parquet als Dateiformat eingerichtet ist, haben die Datentypzuordnungen aufgrund der beschränkten Anzahl der von Parquet unterstützen Datentypen die folgende Form:
Qlik Cloud-Datentyp | Primitiver Parquet-Typ | Logischer Typ |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (Genauigkeit, Dezimalstellen) |
STRING |
BYTE_ARRAY |
STRING |
WSTRING |
BYTE_ARRAY |
STRING |
BYTES |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
STRING |
NCLOB |
BYTE_ARRAY |
STRING |
DATE |
INT32 |
DATE |
TIME |
INT32 |
TIME (UTC=true, unit=MILLIS) |
DATETIME |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |