Azure Data Lake Storage
Azure Data Lake Storage 可作為以下內容使用:
- 雲端暫存區域,使用 Databricks、Microsoft Fabric 或 Azure Synapse Analytics 作為資料管道目標時適用。雲端暫存區域是資料和變更在套用和儲存之前暫存的區域。
-
複寫任務中的目標。
- 如需如何透過標準、進階和企業訂閱將資料複寫到 Azure 資料湖儲存的說明,請參閱 透過標準、進階或企業訂閱在資料湖中登陸資料。
- 如需如何透過入門訂閱將資料複寫到 Azure 資料湖儲存的說明,請參閱 透過 Qlik Talend Cloud 啟動器 訂閱複寫資料。
限制和考慮事項
適用以下限制:
- 不支援完整 LOB 模式。
- 不支援包含斜線 (/) 或反斜線 (\) 字元的資料庫名稱、結構描述名稱或表格名稱。
儲存區的權限
在連接器設定中指定的 Azure Active Directory 租用戶必須獲得以下 ADLS Gen2 儲存區權限。
- 對儲存區容器:列出
- 對儲存目錄:讀取、寫入和刪除
- 在 ADLS Gen2 檔案系統的存取控制 (IAM) 設定中,指定「儲存 Blob 資料參與者」角色至 Replicate (AD App ID)。可能需要幾分鐘角色才會生效。
設定 Azure Data Lake Storage 連線屬性
若要設定連接器,進行下列事項:
-
在連線中,按一下建立連線。
-
選取 Azure Data Lake Storage 目標連接器,然後提供下列設定:
資料目標
資料閘道:選取用來測試 ADLS 連線的 資料移動閘道。這應為相同的已部署 資料移動閘道,以從資料來源登陸資料。
連線屬性
-
儲存區帳戶
儲存區帳戶的名稱。
-
容器名稱
做為雲端分段區域使用的容器名稱。
-
Azure Active Directory 租用戶 ID
訂用 Azure Active Directory 的租用戶 ID。
-
Azure 應用程式註冊用戶端 ID
Azure Active Directory 中應用程式的用戶端 ID。
-
Azure 應用程式註冊密碼
Azure Active Directory 中應用程式的密碼。
名稱
連線的顯示名稱。
資料類型對應
下表顯示從 Qlik Cloud 資料類型至 Azure Data Lake Storage 資料類型的預設對應。
從 Qlik Cloud 資料類型對應至 Azure Data Lake Storage
Qlik Cloud 資料類型 | Azure Data Lake Storage 目標資料類型 |
---|---|
日期 |
日期 |
時間 |
時間 |
日期時間 |
日期時間 |
位元組 |
位元組 (長度) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
UINT1 (3) |
UINT2 |
UINT2 (5) |
UINT4 |
UINT4 (10) |
UINT8 |
UINT8 (20) |
數字 |
數值 (p,s) |
字串 |
字串 (長度) |
WSTRING |
字串 (長度) |
CLOB |
CLOB |
NCLOB |
NCLOB |
布林 |
布林 (1) |
從 Qlik Cloud 資料類型對應至 Parquet
若 Parquet 設定為檔案格式,由於 Parquet 支援的資料類型數量有限,資料類型對應將如下所示:
Qlik Cloud 資料類型 | Parquet 基本類型 | 邏輯類型 |
---|---|---|
布林 |
布林 |
|
INT1 |
INT32 |
INT(8,真) |
INT2 |
INT32 |
INT(16,真) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8,偽) |
UINT2 |
INT32 |
INT(16,偽) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64,偽) |
REAL4 |
浮動 |
|
REAL8 |
雙重 |
|
數字 |
FIXED_LEN_BYTE_ARRAY (16) |
小數 (精確度,縮放) |
字串 |
BYTE_ARRAY |
字串 |
WSTRING |
BYTE_ARRAY |
字串 |
位元組 |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
字串 |
NCLOB |
BYTE_ARRAY |
字串 |
日期 |
INT32 |
日期 |
時間 |
INT32 |
時間 (UTC=真,單位=MILLIS) |
日期時間 |
INT64 |
時間戳記 (UTC=真,單位=MICROS) |