登陆设置

可以配置登陆数据任务的设置。

• 打开登陆任务，然后单击工具栏中的设置。

设置：<Task-Name> 对话框打开。可用设置如下所述。

一般

• 数据库

  要在目标中使用的数据库。

  信息注释将数据登陆到 Qlik Cloud (通过 Amazon S3) 时，此选项不可用。

• 任务模式

  可以更改登陆数据任务模式的名称。默认名称为登陆。

  信息注释将数据登陆到 Qlik Cloud (通过 Amazon S3) 时，此选项不可用。

• 模式名称的默认大写

  您可以为所有架构名称设置默认大小写。如果您的数据库配置为强制大写，则此选项将无效。

• 所有表格和视图的前缀

  可以为使用此任务创建的所有表和视图设置前缀。

  信息注释将数据登陆到 Qlik Cloud (通过 Amazon S3) 时，此选项不可用。
  信息注释如果要在多个数据任务中使用数据库架构，则必须使用唯一的前缀。

• 更新方法

  登陆任务总是以满负载开始。满负载完成后，可以使用以下方法之一保持登陆数据的最新状态：

  信息注释一旦登陆数据任务准备操作完成，就不可能更改更新方法。
信息注释当使用 SaaS 应用程序源时，仅支持 变更数据捕获 (CDC) 更新方法。

• • 更改数据捕获 (CDC)

    使用 CDC（更改数据捕获）技术使已着陆数据保持最新。CDC 可能并非所有数据源都支持。CDC 不捕获 DDL 操作，例如重命名列或元数据更改。

    信息注释

    当 更改数据捕获 (CDC) 是更新方法时，并且您的数据源：

    • 不是一个 SaaS 应用程序

    • 包含支持 CDC 的数据集以及仅支持满载的数据集（例如视图）

    将创建两个数据管道。一个管道将用于支持 CDC 的表，另一个管道将用于仅支持重新加载和比较的数据集。

  • 重新加载并比较

    所有登陆的数据都是从源重新加载的。如果您的源不支持 CDC，但可以与任何受支持的数据源一起使用，则此选项非常有用。

    您可以定期安排重新加载。

• 加载方法

  复制到 Snowflake 目标时，您可以选择以下加载方法之一：

  • 批量加载（默认）

    如果选择批量加载，您就可以在数据上传选项卡中调整加载参数。

  • Snowpipe Streaming

    信息注释

    Snowpipe 数据流只有在满足以下条件时才可供选择：

    • 更改数据捕获 (CDC) 更新方法已启用。
    • Snowflake 连接器中的验证机制设置为密钥对。
    • 如果使用 数据移动网关 ，则需要 2024.11.45 或更高版本。

    如果您选择 Snowpipe 数据流，请确保您熟悉使用此方法时的限制和注意事项。此外，如果您选择雪管数据流，然后切换到重新加载和比较更新方法，加载方法将自动切换回批量加载。

  选择 Snowpipe 数据流而非批量加载的主要原因是：

  • 成本更低：由于 Snowpipe 数据流不使用 Snowflake 仓库，因此运营成本应大大降低，但这取决于您的具体使用情况。

  • 减少延迟： 由于数据直接流向目标数据表（而不是通过暂存），因此从数据源复制到目标数据表的速度应该更快。

  提示注释使用 Snowpipe 数据流时，初始满负载可能会比批量加载慢很多。为了优化加载性能，尤其是在加载大型数据集时，最佳做法是将 Snowpipe 数据流 与并行加载特性结合使用。

• 要在暂存区中使用的文件夹

  对于需要暂存区域的数据平台（例如，Databricks 和 Azure Synapse Analytics），您可以选择在登陆数据时使用哪个文件夹。

  • 默认文件夹

    这将创建具有该默认名称的文件夹：<project name>/<data task name>。

  • 根文件夹

    将数据存储在存储的根文件夹中。

    信息注释此选项仅在将数据登陆到 Qlik Cloud (通过 Amazon S3) 时可用。

  • 文件夹

    指定要使用的文件夹名称。

• 更改处理间隔

  您可以设置从源处理更改之间的间隔。

  信息注释此选项仅在将数据登陆到 Qlik Cloud (通过 Amazon S3) 时可用。

• 使用数据移动网关时的代理服务器

  信息注释此选项仅在通过 Data Movement gateway 访问目标时可用。

  当 数据移动 网关连接到云数据仓库和存储区时，您可以选择使用代理服务器。

  有关将 数据移动 网关配置为使用代理服务器的更多信息，请参阅设置 Qlik Cloud 租户和代理服务器。

  • 使用代理连接到云数据仓库

    信息注释使用 Snowflake、Google BigQuery 和 Databricks 时可用。

  • 使用代理连接到存储

    信息注释使用 Azure Synapse Analytics、Amazon Redshift 和 Databricks 时可用。

数据上传

此选项卡中的某些设置仅与特定目标平台相关

适用于所有数据平台，但不包括 Qlik Cloud 和 Snowflake

最大文件大小 (MB)

文件在关闭之前可以达到的最大大小。与并行执行选项结合使用时，较小的文件可能会上传得更快（取决于网络），并提高性能。然而，通常认为用小文件扰乱数据库是不好的做法。

仅适用于 Google BigQuery

使用压缩

选中后，CSV 文件将在上传到 Google BigQuery 之前进行压缩（使用 gzip）。

仅适用于 Snowflake

在常规选项卡中，您可以选择使用批量加载或 Snowpipe 数据流将数据加载到 Snowflake。选择 Snowpipe 数据流时，将不显示数据上传选项卡。选择批量加载后，可进行以下设置：

• 最大文件大小 (MB)： 适用于初始全量加载和 CDC。文件在加载到目标之前可以达到的最大大小。如果遇到性能问题，请尝试调整此参数。

• 单个批次中要加载的文件数量： 仅适用于初始全量加载。单个批次中要加载的文件数量。如果遇到性能问题，请尝试调整此参数。

有关批量加载和 Snowpipe 数据流加载方法的说明，请参阅一般 。

元数据

LOB 列

包括 LOB 列并将列大小限制为 (KB)：

您可以选择在任务中包括 LOB 列，并设置最大 LOB 大小。大于最大大小的 LOB 将被截断。

控制表

选择要在目标平台上创建以下控制表中的哪一个：

• 登陆状态： 提供有关当前登陆任务的详细信息，包括任务状态、任务消耗的内存量、尚未应用于数据平台的更改数量以及 数据移动网关 当前正在读取的源端点中的位置。
• 挂起的表： 提供挂起的表的列表，以及它们被挂起的原因。
• 登陆历史记录： 提供有关任务历史记录的信息，包括登陆任务期间处理的记录数量和卷、CDC 任务结束时的延迟等。

• DDL 历史记录：包含任务期间发生的所有受支持 DDL 更改的历史记录。

  DDL 历史记录表仅受以下目标平台的支持：

  • Databricks

  • Microsoft Fabric
  • Amazon Redshift
  • 如果您正在使用 数据移动网关，以下目标需要 2024.11.14 或更高版本:
    • Amazon S3
    • Google Cloud Storage
    • Snowflake
  • Kafka - 如果使用 数据移动网关，则需要 2025.5.42 或更高版本。
  • 如果您正在使用 数据移动网关，以下目标需要 2025.11.1 或更高版本:
    • Google BigQuery
    • Google Cloud Alloy DB for PostgreSQL（通过 PostgreSQL 连接器）
    • Google Cloud SQL for PostgreSQL（通过 PostgreSQL 连接器）
    • Microsoft Azure Database for PostgreSQL（通过 PostgreSQL 连接器）
    • PostgreSQL

有关每个控制表的详细说明，请参阅控制表

完全加载

性能调整

• 并行加载的最大表数：输入一次要加载到目标中的最大表数。默认值为 5。

• 事务一致性超时（秒）：输入在开始满负载操作之前等待打开的事务关闭的秒数。默认值为 600（10 分钟）。即使存在仍处于打开状态的事务，也会在达到超时值后开始满负载。

  信息注释要复制在满负载开始时打开但在达到超时值后才提交的事务，需要重载目标表。
• 满负载期间的提交率：可以一起传输的最大事件数。默认值为 10000。

在满负载完成之后

创建主键或唯一索引：如果要将主键或唯一索引在数据平台上的创建延迟到满负载完成后，请选择此选项。

对于初始加载

错误处理

数据错误

对于数据截断错误：选择在一个或多个特定记录中发生截断时要执行的操作。您可以从列表中选择以下选项之一：

• 忽略：任务将继续，并忽略该错误。
• 挂起表：任务继续进行，但带有错误记录的表中的数据会移动到错误状态，并且不会复制其数据
• 停止任务：任务已停止，需要手动干预。

对于其他数据错误：选择在一个或多个特定记录中发生错误时要执行的操作。您可以从列表中选择以下选项之一：

• 忽略：任务将继续，并忽略该错误。
• 挂起表：任务继续进行，但带有错误记录的表中的数据会移动到错误状态，并且不会复制其数据
• 停止任务：任务已停止，需要手动干预。

当其他数据错误达到时，升级错误处理（每个表）：选中此复选框，当非截断数据错误（每个表）数量达到指定数量时，将错误处理升级。有效值为 1-10,000。

升级操作：选择升级错误处理时应执行的操作。请注意，可用的操作取决于从上述针对其他数据错误下拉列表中选择的操作。

• 挂起表（默认值）：任务将继续，但带有错误记录的表中的数据将移动到错误状态，并且不会登陆其数据。

• 停止任务：任务已停止，需要手动干预。

表格错误

遇到表格错误时：从下拉列表中选择以下选项之一：

• 挂起表（默认）：任务将继续，但带有错误记录的表中的数据将移动到错误状态，并且不会复制其数据。
• 停止任务：任务已停止，需要手动干预。

当表格错误达到时，升级错误处理（每个表）：选中此复选框，当表格错误（每个表）数量达到指定数量时，将错误处理升级。有效值为 1-10,000。

升级操作：表错误的升级策略设置为停止任务，无法更改。

环境

• 最大重试数选择此选项，然后指定发生可恢复环境错误时重试任务的最大尝试次数。重试任务达到指定次数后，任务将停止，需要手动干预。

  若要从不重试任务，请清除复选框或指定“0”。

  要无限次重试任务，请指定“-1”

  • 重试间隔（秒）使用计数器选择或键入系统在尝试重试任务之间等待的秒数。

    有效值为 0-2000。

• 延长长时间停机的重试间隔选中此复选框可增加长时间停机的重试间隔。启用此选项后，每次重试之间的间隔将加倍，直到达到最大重试间隔（并根据指定的最大间隔继续重试）。
  • 最大重试间隔（秒）使用计数器选择或键入在启用增加长时间中断的重试间隔选项时任务重试之间等待的秒数。有效值为 0-2000。

更改处理调谐

事务卸载调整

• 该条件下将正在进行的事务卸载到磁盘：

  事务数据通常保存在内存中，直到它完全提交到源或目标。但是，大于分配内存或未在指定时间限制内提交的事务将被卸载到磁盘。

  • 所有事务总内存大小超过 (MB)：所有事务在卸载到磁盘之前可以在内存中占用的最大大小。默认值为 1024。
  • 事务持续时间超过（秒）：每个事务在卸载到磁盘之前可以在内存中停留的最长时间。持续时间是从 Qlik Talend Data Integration 开始捕获事务的时间开始计算的。默认值为 60。

批量调节

此选项卡中的某些设置可能不适用于所有目标或目标加载方法。

适用于除 Qlik Cloud 之外的所有目标的设置（在“加载方法”设置为“Snowpipe 数据流”时也不包括 Snowflake）

• 在间隔中应用分批更改：

• 多于：每次应用批量更改之间等待的最短时间。默认值为 1。

  增大多于值会降低对目标应用更改的频率，同时增加批次的大小。当将更改应用于为处理大批量而优化的目标数据库时，这可以提高性能。

• 少于：每次应用批量更改之间等待的最长时间（在声明超时之前）。换句话说，就是可接受的最大延迟。默认值为 30。该值确定在达到大于值之后应用更改之前等待的最长时间。

• 处理内存超过该值时强制应用批次 (MB)：用于预处理的最大内存量。默认值为 500 MB。

  对于最大批处理大小，请将此值设置为可以分配至数据任务的最大内存量。当将更改应用于为处理大批量而优化的目标数据库时，这可以提高性能。

• 将批处理更改同时应用于多个表：在应用来自多个源表的更改时，选择此选项应该会提高性能。

  • 最大表数： 要同时应用批处理更改的最大表数。默认值为五。

  信息注释使用 Google BigQuery 作为数据平台时，不支持此选项。

• 将每个更改处理语句应用的更改数限制为：选择此选项可限制单个更改处理语句中应用的更改数。默认值为 10,000。

  信息注释仅使用 Google BigQuery 作为数据平台时，才支持此选项。

仅适用于 Qlik Cloud 的设置（在“加载方法”设置为“Snowpipe 数据流”时也适用于 Snowflake）

• 每笔交易的最小更改次数：每个事务中要包含的最小更改数。默认值为 1000。

  信息注释

  当更改次数等于或大于每个事务的最小更改次数值时，或者当达到下面描述的应用前批处理事务的最长时间（秒）值时，将对目标应用更改，以先发生的为准。由于应用于目标的更改频率由这两个参数控制，因此对源记录的更改可能不会立即反映在目标记录中。

• 应用前批处理事务的最长时间（秒）：在声明超时之前分批收集事务的最长时间。默认值为 1。

间隔

• 每（分钟）读取更改

  从源读取更改的间隔（分钟）。有效范围为 1 到 1440。

  信息注释

  要使用此选项，任务必须采用：

  • 数据移动网关
  • 更改数据捕获 (CDC) 更新方法。

检查是否有更改

• 根据增量提取间隔： 选中此选项后，数据任务会根据增量提取间隔来检查更改。

  信息注释该间隔将在每个“轮次”后开始。一个轮次可以定义为数据任务从源表读取更改并将其发送至目标（作为单个事务）所需的时间。一个轮次的长度会根据表的数量及更改的数量而变化。因此，如果您指定 10 分钟的间隔，并且一个轮次需要 4 分钟，那么检查更改之间的实际时间将为 14 分钟。

  • 增量提取间隔： 从您的系统之中提取增量的频率。默认值为每 60 秒一次。

• 按计划：选中此选项之后，数据任务将提取一次增量，然后停止。然后它将继续按计划运行。

  信息注释仅当 CDC 周期之间的间隔为 24 小时或者更长时，此选项才相关。

  有关计划的信息：

  • 要了解如何在数据管道项目中登陆任务，请参阅计划任务

其他调谐

• 语句缓存大小（语句数）： 要存储在服务器上以供以后执行（在对目标应用更改时）的最大准备语句数。默认值为 50。最大值为 200。

• 更新主键列时的删除和插入： 此选项要求在源数据库中打开完整的补充日志记录。

  信息注释此设置不适用于使用 SaaS 应用程序连接器的任务，除非它是 Lite 连接器。

自动模式演变

选择如何处理架构中以下类型的 DDL 更改。更改模式演变设置后，必须重新准备任务。选择如何处理架构中以下类型的 DDL 更改。

字符替换

您可以替换或删除目标数据库中的源字符，和/或替换或删除所选字符集不支持的源字符。

替换或删除源字符

使用替换或删除源字符表可以定义特定源字符的替换项。例如，当字符的 Unicode 表示在源平台和目标平台上不同时，这可能很有用。例如，在 Linux上，Shift_JIS 字符集中的减号字符表示为 U+2212，但在 Windows 上，它表示为 U+FF0D。

替换或删除所选字符集不支持的源字符

使用不支持的源字符（按字符集）表为所选字符集不支持的所有字符定义一个替换字符。

更多选项

这些选项不会在 UI 中公开，因为它们仅与特定版本或环境相关。因此，除非 Qlik 支持或产品文档明确指示，否则不要设置这些选项。

要设置选项，只需将该选项复制到添加功能名称字段中，然后单击添加。然后根据收到的说明设置该值或启用该选项。

并行加载数据集片段

在满负载期间，您可以通过将数据集拆分为并行加载的段来加速大型数据集的加载。表可以按数据范围、所有分区、所有子分区或特定分区进行拆分。

有关更多信息，请参阅并行登陆数据集片段。

计划任务

在某些情况下，您可能需要计划您的任务，以传播从数据源到目标平台的更改。

有关更多信息，请参阅Scheduling tasks。