数据管道项目设置
您可以在 Qlik Talend Data Integration 中更改数据管道项目的设置。这些属性对于项目和所有包含的数据任务是通用的。某些设置仅适用于特定的数据平台。
-
在项目中单击设置。
数据平台
您可以更改以下设置:
-
连接
项目的连接。
-
连接到暂存区
当数据平台为 Snowflake 时,此选项不可用。
元数据
您可以为内部工件设置后缀,并为创建的视图设置默认后缀。
-
内部工件首选项
在模式后缀中设置用于存储内部工件的模式的后缀。
-
外部视图后缀
为项目中包含的数据任务内创建的视图设置默认后缀。
-
哈希
您可以设置在对列进行哈希处理时使用的哈希盐字符串,例如用于屏蔽敏感信息。这将在将输入列与哈希盐字符串连接后生成输入列的 SHA-256 哈希值。
您可以使用项目 ID 作为盐字符串,也可以设置自定义盐字符串。
信息注释此设置仅在 Qlik Open Lakehouse 项目中可用。哈希函数在流式登陆任务中可用。
新任务的默认设置
您可以为项目中创建的数据任务设置默认值。创建数据任务时,您可以更改该值。
您可以设置默认数据库,以便为所有类型的数据任务创建目标工件。
登陆默认设置
-
使用 Data Movement gateway 时,通过代理连接到
使用 数据移动网关 时,您可以通过代理连接到目标平台和暂存平台(区域)。
有关配置 数据移动网关 以使用代理服务器的更多信息,请参阅 设置 Qlik Cloud 租户和代理服务器。
-
目标平台
信息注释在使用 Snowflake、Google BigQuery 和 Databricks 时可用。 -
暂存平台
信息注释在使用 Azure Synapse Analytics、Amazon Redshift 和 Databricks 时可用。
-
存储默认设置
-
历史数据存储(类型 2)
您可以保留历史更改数据,以便轻松重新创建特定时间点的数据。您可以使用历史视图和实时历史视图来查看历史数据。
-
实时视图
实时视图为每个选定的源表显示一个视图,该视图将表与更改表中的更改合并。这为查询提供了数据的实时视图,而无需等待下一个应用周期。
默认数据库
您可以使用项目的默认数据库或指定其他数据库。
目录
-
发布到目录
选择此选项可将此版本的数据作为数据集发布到目录。下次准备此任务时,目录内容将更新。
转换默认设置
-
历史数据存储(类型 2)
您可以保留历史更改数据,以便轻松重新创建特定时间点的数据。您可以使用历史视图和实时历史视图来查看历史数据。
物化
-
非物化(仅视图)
选择此选项可仅创建动态执行转换的视图。
-
物化(表和视图)
选择此选项可同时创建表和视图。
默认数据库
您可以使用项目的默认数据库或指定其他数据库。
目录
-
发布到目录
选择此选项可将此版本的数据作为数据集发布到目录。下次准备此任务时,目录内容将更新。
数据集市默认设置
默认数据库
您可以使用项目的默认数据库或指定其他数据库。
目录
-
发布到目录
选择此选项可将此版本的数据作为数据集发布到目录。下次准备此任务时,目录内容将更新。
注册数据默认设置
默认数据库
您可以使用项目的默认数据库或指定其他数据库。
目录
-
发布到目录
选择此选项可将此版本的数据作为数据集发布到目录。下次准备此任务时,目录内容将更新。
增量加载设置
当选择使用高水位的增量时,这些设置可用。
-
更改表
如果更改在同一个表中,请选择更改在同一个表内。
如果不是,请取消选择更改在同一个表内并指定更改表模式。
-
水位列
在名称中设置水位列的名称。
-
“起始日期”列
您可以通过开始时间或使用选定的列来指示“起始日期”。
如果选择选定的“起始日期”列,则必须定义“起始日期”模式。
-
软删除
您可以通过选择更改包含软删除并定义指示表达式,将软删除包含在更改中。
如果更改是软删除,则指示表达式的计算结果应为 True。
示例:${is_deleted} = 1
-
前映像
您可以通过选择前映像并定义指示表达式,过滤掉更改表更改中的前映像记录。
如果行包含更新前的映像,则指示表达式的计算结果应为 True。
示例:${header__change_oper} = 'B'
运行时
您可以为项目中包含的数据资产定义默认运行时性能设置。
登陆默认值
-
您可以在并行执行中设置最大数据库连接数。
存储默认值
-
您可以将默认调度设置设为基于时间的调度。这将是创建的每个存储任务的默认值。
-
如果项目平台是 Snowflake,您可以设置默认数据仓库。
转换默认值
-
您可以将默认调度设置设为基于时间的调度或在成功完成任何输入数据任务时。这将是创建的每个转换任务的默认值。
-
如果项目平台是 Snowflake,您可以设置默认数据仓库。
数据集市默认值
-
您可以将默认调度设置设为基于时间的调度或在成功完成任何输入数据任务时。这将是创建的每个数据集市任务的默认值。
-
如果项目平台是 Snowflake,您可以设置默认数据仓库。
镜像默认值
-
如果项目平台是 Snowflake,您可以设置默认数据仓库。