跳到主要内容 跳到补充内容

Google Cloud Storage

Google Cloud Storage 可以用作:

  • 使用 Databricks 作为数据管道目标时的云暂存区。云暂存区是数据和更改在应用和存储之前暂存的地方。
  • “在数据湖中登陆数据”复制任务中的目标。

限制和考虑事项

以下限制适用:

  • 不支持完整 LOB 模式。
  • 不支持包含斜杠 (/) 或反斜杠 (\) 字符的数据库名称、模式名称或表名称。

先决条件

连接器设置中指定的 JSON 凭据必须用于对指定存储段具有读写访问权限的帐户。

设置 Google Cloud Storage 连接属性

提示注释

Qlik 发布了一个新的导航体验,该体验目前是可选的。如果您的租户管理员已打开新导航:

  • 用于访问数据集成的启动器菜单 () 将位于左上角。
  • 以前使用新增按钮(已被删除)执行的操作现在通过切换到特定上下文(例如,数据集成> 连接)并单击创建 <object> 按钮来执行。

有关更改的详细说明,请参阅新的 Qlik Talend 数据集成 平台导航

要配置连接器,请执行以下操作:

  1. 单击顶部栏中的新增,然后单击数据连接

  2. 选择 Google Cloud Storage 目标连接器,然后提供以下设置:

数据目标

数据网关选择将用于测试与 Google Cloud Storage 的连接的 数据移动网关。这应该与从数据源部署到登陆数据的 数据移动网关 相同。

连接属性

  • 服务帐户密钥:具有对 Google Cloud Storage 存储段的读写访问权限的服务帐户密钥的 JSON 凭据。单击上传,然后选择带有服务帐户密钥的 JSON 文件。

    信息注释指定的帐户密钥必须具有对指定存储段和文件夹的读写访问权限。
  • 存储段名称:Google Cloud Storage 存储段。

内部属性

内部属性用于特殊用例,因此不会在对话框中公开。只有在 Qlik 支持部门的指示下,您才应该使用它们。

使用字段右侧的 新建取消 按钮可以根据需要添加或删除特性。

名称

连接的显示名称。

数据类型映射

下表显示了从 Qlik Cloud 数据类型到 Google Cloud Storage 数据类型的默认映射。

信息注释仅当启用了“在数据湖中登陆数据”任务设置中的在目标文件夹中创建元数据文件选项时,数据类型映射才相关。

Qlik Cloud 数据类型映射到 Google Cloud Storage

Qlik Cloud 和 Google Cloud Storage 数据类型
数据移动网关 数据类型 Google Cloud Storage Target 数据类型

DATE

DATE

TIME

TIME

DATETIME

DATETIME

BYTES

BYTES(长度)

BLOB

BLOB

REAL4

REAL4 (7)

REAL8

REAL8 (14)

INT1

INT1 (3)

INT2

INT2 (5)

INT4

INT4 (10)

INT8

INT8 (19)

UINT1

UINT1 (3)

UINT2

UINT2 (5)

UINT4

UINT4 (10)

UINT8

UINT8 (20)

NUMERIC

NUMERIC (p,s)

STRING

STRING(长度)

WSTRING

STRING(长度)

CLOB

CLOB

NCLOB

NCLOB

BOOLEAN

BOOLEAN (1)

Qlik Cloud 数据类型到 Parquet 的映射

当把 Parquet 设置为文件格式时,由于 Parquet 支持的数据类型数量有限,数据类型映射如下:

Parquet 数据类型映射
Qlik Cloud 数据类型 Parquet 图元类型 逻辑类型

BOOLEAN

BOOLEAN

 

INT1

INT32

INT(8, true)

INT2

INT32

INT(16, true)

INT4

INT32

 

INT8

INT64

 

UINT1

INT32

INT(8, false)

UINT2

INT32

INT(16, false)

UINT4

INT64

 

UINT8

INT64

INT(64, false)

REAL4

FLOAT

 

REAL8

DOUBLE

 

NUMERIC

FIXED_LEN_BYTE_ARRAY (16)

DECIMAL(精确度、刻度)

STRING

BYTE_ARRAY

STRING

WSTRING

BYTE_ARRAY

STRING

BYTES

BYTE_ARRAY

 

BLOB

BYTE_ARRAY

 

CLOB

BYTE_ARRAY

STRING

NCLOB

BYTE_ARRAY

STRING

DATE

INT32

DATE

TIME

INT32

TIME (UTC=true, unit=MILLIS)

DATETIME

INT64

TIMESTAMP (UTC=true, unit=MICROS)

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们如何改进!