Google Cloud Storage
Google Cloud Storage 可以用作:
- 使用 Databricks 作为数据管道目标时的云暂存区。云暂存区是数据和更改在应用和存储之前暂存的地方。
-
复制任务中的目标。
- 有关如何使用标准、高级和企业订阅将数据复制到 Google Cloud Storage 的说明,请参阅使用标准、高级或企业订阅将在数据湖中登陆数据。
- 有关如何使用入门订阅将数据复制到 Google Cloud Storage 的说明,请参阅通过 Qlik Talend Cloud 启动器订阅复制数据。
限制和考虑事项
以下限制适用:
- 不支持完整 LOB 模式。
- 不支持包含斜杠 (/) 或反斜杠 (\) 字符的数据库名称、模式名称或表名称。
先决条件
连接器设置中指定的 JSON 凭据必须用于对指定存储段具有读写访问权限的帐户。
设置 Google Cloud Storage 连接属性
要配置连接器,请执行以下操作:
-
在连接中单击创建连接。
-
选择 Google Cloud Storage 目标连接器,然后提供以下设置:
数据目标
数据网关:选择将用于测试与 Google Cloud Storage 的连接的 数据移动网关。这应该与从数据源部署到登陆数据的 数据移动网关 相同。
连接属性
-
服务帐户密钥:具有对 Google Cloud Storage 存储段的读写访问权限的服务帐户密钥的 JSON 凭据。单击上传,然后选择带有服务帐户密钥的 JSON 文件。
信息注释指定的帐户密钥必须具有对指定存储段和文件夹的读写访问权限。 - 存储段名称:Google Cloud Storage 存储段。
内部属性
内部属性用于特殊用例,因此不会在对话框中公开。只有在 Qlik 支持部门的指示下,您才应该使用它们。
使用字段右侧的 和 按钮可以根据需要添加或删除特性。
名称
连接的显示名称。
数据类型映射
下表显示了从 Qlik Cloud 数据类型到 Google Cloud Storage 数据类型的默认映射。
从 Qlik Cloud 数据类型映射到 Google Cloud Storage
数据移动网关 数据类型 | Google Cloud Storage Target 数据类型 |
---|---|
DATE |
DATE |
TIME |
TIME |
DATETIME |
DATETIME |
BYTES |
BYTES(长度) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
UINT1 (3) |
UINT2 |
UINT2 (5) |
UINT4 |
UINT4 (10) |
UINT8 |
UINT8 (20) |
NUMERIC |
NUMERIC (p,s) |
STRING |
STRING(长度) |
WSTRING |
STRING(长度) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
从 Qlik Cloud 数据类型到 Parquet 的映射
当把 Parquet 设置为文件格式时,由于 Parquet 支持的数据类型数量有限,数据类型映射如下:
Qlik Cloud 数据类型 | Parquet 图元类型 | 逻辑类型 |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL(精确度、刻度) |
STRING |
BYTE_ARRAY |
STRING |
WSTRING |
BYTE_ARRAY |
STRING |
BYTES |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
STRING |
NCLOB |
BYTE_ARRAY |
STRING |
DATE |
INT32 |
DATE |
TIME |
INT32 |
TIME (UTC=true, unit=MILLIS) |
DATETIME |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |