系统要求和限制
本部分介绍 Qlik Talend Cloud 的要求和限制。
在开始之前,您应该检查需求,以确保您拥有开始所需的一切。
您可以在 集成数据 中阅读有关工作流和系统分量的更多信息
Qlik Talend Cloud 的一般要求
-
Qlik Cloud 上具有 Qlik Talend Data Integration 访问权限的租户。这需要以下任一订阅:
-
用于管理数据集成项目的 Qlik Talend Cloud。
Qlik Talend Cloud 有四个级别的订阅选项可供选择:初级版、标准版、高级版和企业版。更高版本提供更高级的数据源和转换。这包括托管在 Qlik Cloud 和 Talend Cloud 上的功能。所有订阅都包括 Qlik Cloud Analytics Standard。
-
Qlik Cloud 分析 订阅允许访问 Qlik Talend Data Integration 以在 Qlik Cloud 数据平台中创建 QVD 文件。QVD 文件可以在分析应用程序中使用。
有关更多信息,请参阅Qlik Cloud 分析 订阅选项。
-
-
用户需要 专业或 Full User 授权 和数据服务贡献者角色在 Qlik Talend Data Integration 中创建、管理和运行数据任务。
-
Qlik Cloud Government 注释尽管 Qlik Cloud 政府 中提供了 Qlik Talend Data Integration 接口和工具,但如果没有许可证,除了能够创建数据管道之外,它没有任何功能。
-
连接到数据源时,可能需要将基础 Qlik Cloud IP 地址添加到允许列表中。
有关更多信息,请参阅允许列出域名和 IP 地址。
-
连接用于连接到云数据平台以进行数据交付和下推转换。有关更多信息,请参阅建立与目标的连接。
-
如果使用 数据移动网关,访问数据源和目标平台所需的驱动程序需要安装在 数据移动网关 计算机上。如果使用其中一个 数据移动网关 访问源,另一个访问目标,请在目标 数据移动网关 上安装访问目标所需的驱动程序,并在源 数据移动网关 上安装访问数据源所需的驱动器。
有关更多信息,请参阅建立与目标的连接。
存储数据的要求
-
如果您将数据登陆到 Amazon S3 存储段中,则可以在 Qlik Cloud 托管存储或您管理的 Amazon S3 存储中生成 QVD 表。
-
如果将数据登陆到云数据仓库,例如Snowflake或Azure Synapse Analytics,则可以在同一个云数据仓库中生成表。
-
如果将数据从云数据源登陆到云数据仓库,则可以在同一个云数据仓库中生成表。
暂存区要求
您需要一个临时区域来将数据移动到某些数据仓库目标:
-
Azure Synapse Analytics
您需要一个 Azure Data Lake Storage 暂存区。
-
Google BigQuery
您需要一个 Google Cloud Storage 暂存区。
-
Databricks
您需要 Azure Data Lake Storage、Google Cloud Storage 或 Amazon S3 中的临时区域。
生成 QVD 表的要求
-
Amazon S3 存储段,用于通过在 数据移动网关 服务器计算机获得写入访问权限和从 Qlik Cloud 租户获得读取访问权限来暂存数据。
警告注释您要确保登陆区安全。您可以对 Amazon S3 托管密钥或 AWS KMS 托管密钥使用服务器端加密。 -
如果您想将存储 (QVD) 数据存储在自己的托管存储中,而不是存储在 Qlik 托管存储中,您需要一个 Amazon S3 存储段。您可以使用与使用登陆数据相同的 Amazon S3 存储段,但这也需要 Qlik Cloud 租户的写访问权限。您还需要使用单独的文件夹来登陆数据和存储。
警告注释您要确保受管存储安全。您可以对 Amazon S3 托管密钥或 AWS KMS 托管密钥使用服务器端加密。
限制
对于您如何使用 Qlik Talend Data Integration 存在一些限制。
一般限制
-
不支持对数据源架构进行更改。如果对数据源中的架构进行更改,则需要创建新的数据资产。
-
无法更改数据任务的所有者或将数据任务移动至另一项目。
-
不支持自动清理登陆区域。这可能影响性能。我们建议您执行手动清理。
-
对存储数据资产中的表应用更改时,任务中不同表之间没有事务一致性。
-
当数据库架构与多个数据任务关联时,每个数据任务都必须为表和视图使用唯一的前缀。您可以在数据任务设置中设置前缀。
-
两个数据移动网关任务不应写入登陆区中的同一个表。最佳做法是为每个数据移动网关任务使用单独的登陆区。
-
对于没有主键的源表,不支持更改处理。这适用于引入数据和注册数据。
生成 QVD 表时的限制
-
生成的 QVD 表格的最大大小是 5 GB。
数据空间始终使用标准容量,这限制了存储数据任务的容量。存储数据任务处理的每个表的总大小(包括更改)应达到标准应用程序支持的应用程序大小(内存中)。
有关容量的更多信息,请参阅大型应用程序支持。
-
确保两个应用程序不会生成同名 QVD 表格。最佳做法是为每个应用程序保留一个单独的输出文件夹。
云数据仓库的限制
一般限制
-
所有数据集都写在同一个内部模式中,所有视图都写在存储器中的同一个数据资产模式中。因此,不允许在单一登陆数据任务中的不同模式中有两个同名的数据集。
Snowflake 限制
-
连接到 Snowflake 时不支持 OAuth 身份验证。
Google BigQuery 限制
-
不能在列名中使用空格。
-
如果重命名或删除列,则需要重新创建表,数据将丢失。
-
将使用默认值设置参数化数据类型:
-
字符串
长度:8192
-
字节
长度:8192
-
数字
精确度:38
比例:9
-
bigDecimal
精确度:76
比例:38
-
-
默认情况下,Google BigQuery 连接配置为美国位置。如果要使用其他位置,需要在连接属性中设置。
-
编辑连接
-
在高级下添加名为 location 的属性。
-
将属性的值设置为要使用的位置。
-
单击保存。
-
Databricks 限制
-
不支持重命名表和列。重命名后同步时,数据将丢失。
-
启用 SSL 必须启用。