跳到主要内容 跳到补充内容

Azure Data Lake Storage

Azure Data Lake Storage 可以用作:

  • 使用 Databricks、Microsoft Fabric 或 Azure Synapse Analytics 作为数据管道平台时的云暂存区。云暂存区是数据和更改在应用和存储之前暂存的地方。
  • “在数据湖中登陆数据”复制任务中的目标。

限制和考虑事项

以下限制适用:

  • 不支持完整 LOB 模式。
  • 不支持包含斜杠 (/) 或反斜杠 (\) 字符的数据库名称、模式名称或表名称。

存储权限

连接器设置中指定的 Azure Active Directory 租户必须被授予以下 ADLS Gen2 存储权限。

  • 在存储容器上:列表
  • 在存储目录上:READ、WRITE 和 DELETE
  • 在 ADLS Gen2 文件系统的访问控制 (IAM) 设置中,将“存储 Blob 数据贡献者”角色分配给 (AD 应用程序 ID)。角色可能需要几分钟才能生效。

设置 Azure Data Lake Storage 连接属性

选择 Azure Data Lake Storage目标连接器,然后提供以下设置:

数据目标

数据网关:选择将用于测试与 ADLS 的连接的 数据移动网关。这应该与从数据源部署到登陆数据的 数据移动网关 相同。

连接属性

  • 存储帐户

    存储帐户的名称。

  • 容器名称

    要用作云暂存区域的容器的名称。

  • Azure Active Directory 租户 ID

    Azure Active Directory 中订阅的租户 ID。

  • Azure 应用程序注册客户端 ID

    Azure Active Directory 中应用程序的客户端 ID。

  • Azure 应用程序注册密码

    Azure Active Directory 中应用程序的密码

名称

连接的显示名称。

数据类型映射

下表显示了从 Qlik Cloud 数据类型到 Azure Data Lake Storage 数据类型的默认映射。

信息注释仅当启用了“在数据湖中登陆数据”任务设置中的在目标文件夹中创建元数据文件选项时,数据类型映射才相关。

Qlik Cloud 数据类型到 Azure Data Lake Storage 的映射

Qlik CloudAzure Data Lake Storage 数据类型
Qlik Cloud 数据类型 Azure Data Lake Storage 目标数据类型

DATE

DATE

TIME

TIME

DATETIME

DATETIME

BYTES

BYTES(长度)

BLOB

BLOB

REAL4

REAL4 (7)

REAL8

REAL8 (14)

INT1

INT1 (3)

INT2

INT2 (5)

INT4

INT4 (10)

INT8

INT8 (19)

UINT1

UINT1 (3)

UINT2

UINT2 (5)

UINT4

UINT4 (10)

UINT8

UINT8 (20)

NUMERIC

NUMERIC (p,s)

STRING

STRING(长度)

WSTRING

STRING(长度)

CLOB

CLOB

NCLOB

NCLOB

BOOLEAN

BOOLEAN (1)

Qlik Cloud 数据类型到 Parquet 的映射

当把 Parquet 设置为文件格式时,由于 Parquet 支持的数据类型数量有限,数据类型映射如下:

Parquet 数据类型映射
Qlik Cloud:Qlik Cloud Parquet 图元类型 逻辑类型

BOOLEAN

BOOLEAN

 

INT1

INT32

INT(8, true)

INT2

INT32

INT(16, true)

INT4

INT32

 

INT8

INT64

 

UINT1

INT32

INT(8, false)

UINT2

INT32

INT(16, false)

UINT4

INT64

 

UINT8

INT64

INT(64, false)

REAL4

FLOAT

 

REAL8

DOUBLE

 

NUMERIC

FIXED_LEN_BYTE_ARRAY (16)

DECIMAL(精确度、刻度)

STRING

BYTE_ARRAY

STRING

WSTRING

BYTE_ARRAY

STRING

BYTES

BYTE_ARRAY

 

BLOB

BYTE_ARRAY

 

CLOB

BYTE_ARRAY

STRING

NCLOB

BYTE_ARRAY

STRING

DATE

INT32

DATE

TIME

INT32

TIME (UTC=true, unit=MILLIS)

DATETIME

INT64

TIMESTAMP (UTC=true, unit=MICROS)

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们如何改进!