Azure Data Lake Storage
Azure Data Lake Storage można użyć jako:
- Obszaru tymczasowego w chmurze podczas używania Databricks, Microsoft Fabric lub Azure Synapse Analytics jako miejsca docelowego potoku danych. Obszar tymczasowy w chmurze to miejsce, w którym dane i zmiany są przechowywane przed zastosowaniem i zapisaniem.
-
Miejsce docelowe w zadaniu replikacji.
- Wyjaśnienie sposobu replikowania danych do Azure Data Lake Storage w ramach subskrypcji Standard, Premium i Enterprise zawiera temat Umieszczanie danych w jeziorze danych w ramach subskrypcji Standard, Premium lub Enterprise.
- Wyjaśnienie sposobu replikowania danych do Azure Data Lake Storage w ramach subskrypcji Starter zawiera temat Replikacja danych w ramach subskrypcji Qlik Talend Cloud Starter.
Ograniczenia i uwagi
Obowiązują następujące ograniczenia:
- Pełny tryb LOB nie jest obsługiwany.
- Nazwy baz danych, nazwy schematów lub nazwy tabel zawierające ukośnik (/) bądź ukośnik odwrotny (\) nie są obsługiwane.
Uprawnienia pamięci masowej
Dzierżawa Azure Active Directory określona w ustawieniach łącznika musi mieć przyznane następujące uprawnienia do przechowywania danych w usłudze ADLS Gen2.
- W kontenerze pamięci masowej: LIST
- W katalogu pamięci masowej: READ, WRITE and DELETE
- U ustawieniach kontroli dostępu (IAM) systemu plików ADLS Gen2 należy przypisać rolę „Storage Blob Data Contributor” (Współautor danych Blob w pamięci masowej) usłudze Replicate (ID aplikacji AD). Zastosowanie tej roli może potrwać kilka minut.
Konfiguracja właściwości połączenia Azure Data Lake Storage
Aby skonfigurować łącznik, wykonaj następujące czynności:
-
W obszarze Połączenia kliknij Utwórz połączenie.
-
Wybierz łącznik miejsca docelowego Azure Data Lake Storage , a następnie podaj następujące ustawienia:
Miejsce docelowe danych
Brama danych: Wybierz bramę Brama danych ruchu danych, która będzie używana do testowania połączenia z ADLS. Powinna to być taka sama Brama danych ruchu danych wdrożona w celu umieszczania danych ze źródła danych.
Właściwości połączenia
-
Konto pamięci masowej
Nazwa konta pamięci masowej.
-
Nazwa kontenera
Nazwa kontenera, który ma być użyty jako miejsce przechowywania w chmurze.
-
Identyfikator dzierżawy Azure Active Directory
Identyfikator dzierżawy subskrypcji w Azure Active Directory.
-
Identyfikator klienta rejestracji aplikacji Azure
Identyfikator dzierżawy subskrypcji w Azure Active Directory.
-
Klucz tajny rejestracj aplikacji Azure
Klucz tajny aplikacji w Azure Active Directory
Nazwa
Nazwa wyświetlana dla połączenia.
Mapowanie typów danych
Następująca tabela pokazuje domyślne mapowanie z typów danych Qlik Cloud do docelowych typów danych Azure Data Lake Storage.
Mapowanie z typów danych Qlik Cloud na Azure Data Lake Storage
| Typy danych Qlik Cloud | Typy danych docelowych Azure Data Lake Storage |
|---|---|
|
DATE |
DATE |
|
TIME |
TIME |
|
DATETIME |
DATETIME |
|
BYTES |
BYTES (długość) |
|
BLOB |
BLOB |
|
REAL4 |
REAL4 (7) |
|
REAL8 |
REAL8 (14) |
|
INT1 |
INT1 (3) |
|
INT2 |
INT2 (5) |
|
INT4 |
INT4 (10) |
|
INT8 |
INT8 (19) |
|
UINT1 |
UINT1 (3) |
|
UINT2 |
UINT2 (5) |
|
UINT4 |
UINT4 (10) |
|
UINT8 |
UINT8 (20) |
|
NUMERIC |
NUMERIC (p,s) |
|
STRING |
STRING (długość) |
|
WSTRING |
STRING (długość) |
|
CLOB |
CLOB |
|
NCLOB |
NCLOB |
|
BOOLEAN |
BOOLEAN (1) |
Mapowanie z typów danych Qlik Cloud na Parquet
Po ustawieniu formatu plików Parquet mapowania typów danych będą takie, jak pokazano poniżej, ze względu na ograniczoną liczbę typów danych obsługiwanych przez Parquet.
| Typ danych Qlik Cloud | Typ pierwotny Parquet | Typ logiczny |
|---|---|---|
|
BOOLEAN |
BOOLEAN |
|
|
INT1 |
INT32 |
INT(8, true) |
|
INT2 |
INT32 |
INT(16, true) |
|
INT4 |
INT32 |
|
|
INT8 |
INT64 |
|
|
UINT1 |
INT32 |
INT(8, false) |
|
UINT2 |
INT32 |
INT(16, false) |
|
UINT4 |
INT64 |
|
|
UINT8 |
INT64 |
INT(64, false) |
|
REAL4 |
FLOAT |
|
|
REAL8 |
DOUBLE |
|
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (precyzja, skala) |
|
STRING |
BYTE_ARRAY |
STRING |
|
WSTRING |
BYTE_ARRAY |
STRING |
|
BYTES |
BYTE_ARRAY |
|
|
BLOB |
BYTE_ARRAY |
|
|
CLOB |
BYTE_ARRAY |
STRING |
|
NCLOB |
BYTE_ARRAY |
STRING |
|
DATE |
INT32 |
DATE |
|
TIME |
INT32 |
TIME (UTC=true, unit=MILLIS) |
|
DATETIME |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |