使用标准、高级或企业订阅复制数据
设置复制任务:
-
在数据集成 > 项目中,单击创建项目。
-
在新建项目对话框中,执行以下操作:
- 为您的项目提供名称。
- 选择要在其中创建项目的空间。
- 任选地,提供描述。
- 选择复制作为用例。
- 如果要创建一个空项目而不配置任何设置,请清除打开复选框(可选)。
-
单击创建。
将出现以下情况之一:
- 如果选择了新建项目对话框中的打开复选框(默认值),则项目将打开。
- 如果清除了新建项目对话框中的打开复选框,则该项目将添加到项目列表中。您可以稍后通过从项目的 菜单中选择打开来打开项目。
-
项目打开后,单击复制数据。
项目打开后,单击复制数据。
-
在常规选项卡中,指定复制任务的名称和说明。然后单击下一步。
-
在选择源连接选项卡中,选择到源数据的连接。从操作列中的菜单中选择编辑,可以选择编辑连接设置。
如果尚未创建到数据源的连接,则需要通过单击选项卡右上角的创建连接来创建连接。
您可以使用左侧的筛选器筛选连接列表。可以根据源类型、网关、空间和所有者筛选连接。连接列表上方的所有筛选器按钮显示当前筛选器的数量。您可以使用此按钮关闭或打开左侧的筛选器面板。当前活动的筛选器也显示在可用连接列表的上方。
您也可以从右侧的下拉列表中选择上次修改时间、上次创建时间或按字母数字顺序来对列表进行排序。单击列表右侧的箭头可以更改排序顺序。
选择数据源连接后,可以选择单击选项卡右上角的测试连接(推荐),然后单击下一步。
-
在选择数据集选项卡中,选择要包含在复制任务中的表和/或视图。您还可以使用通配符并创建选择规则,如从数据库选择数据中所述。
-
在选择目标连接选项卡中,从可用连接列表中选择目标,然后单击下一步。在功能方面,该选项卡与前面描述的选择源连接选项卡相同。
-
在设置选项卡中,可以选择更改以下设置,然后单击下一步。
Replication 模式
信息注释从 SaaS 应用程序源进行复制时,默认情况下会启用满负载复制模式,并且不能禁用。- 满负载:将选定源表中的数据加载到目标平台,并在必要时创建目标表。当任务启动时,满负载会自动发生,但如果需要,也可以手动执行。
-
应用更改:使目标表更新对源表所做的任何更改。
-
存储更改:将对源表的更改存储在“更改表”中(每个源表一个)。
有关更多信息,请参阅存储更改。
使用 数据移动网关 时,几乎实时地从源捕获更改。当不使用 数据移动网关 时(通过在连接器设置中将数据网关设置为无),将根据调度程序设置捕获更改。默认的更改捕获间隔为每六小时一次。有关更多信息,请参阅在不使用 数据移动网关 进行工作的情况下安排任务。
应用更改模式
信息注释复制到数据仓库目标时,无法选择要使用的应用更改模式。更改将始终应用于批量优化模式,以获得最大效率。使用以下方法之一将更改应用于目标表:
- 批量优化:这是默认设置。选择此选项后,将分批应用更改。进行预处理操作,以最有效的方式将事务分组为批。
- 事务性:选择此选项可以按照提交的顺序单独应用每个事务。在这种情况下,可以确保所有表都具有严格的引用完整性。
暂存区域连接
当复制到下面列出的数据仓库时,您需要设置一个暂存区域。数据在转移到仓库之前在暂存区进行处理和准备。
选择现有暂存区域,或单击新建以定义新的暂存区域,然后按照连接至云存储中的说明进行操作。
要编辑连接设置,请单击编辑。要测试连接(推荐),请单击测试连接。
有关哪些数据仓库支持哪些暂存区域的信息,请参阅目标平台用例和支持的版本中的支持作为暂存区列。
复制计划程序
-
复制数据间隔:您可以安排从数据源捕获更改的频率,并设置开始时间和开始日期。 如果源数据集支持 CDC(更改数据捕获),则只有对源数据的更改会被复制并应用到相应的目标表。如果源数据集不支持 CDC(例如,视图),则将通过将所有源数据重新加载到相应的目标表来应用更改。如果一些源数据集支持 CDC,而另一些不支持CDC,则将创建两个独立的子任务(假设选择了应用更改或存储更改复制选项):一个用于重新加载不支持 CDC 的数据集,另一个用于捕获对实际支持 CDC 的数据集的更改。
任务设置向导允许您安排基本的每小时间隔。完成任务设置后,您可以探索不同的计划选项,如在不使用 数据移动网关 进行工作的情况下安排任务中所述。
有关根据数据源类型和订阅层的最小调度间隔的信息,请参阅允许的最小调度间隔。
-
在摘要选项卡中,将显示数据管道的可视化信息。如果某些选定的数据集不支持 CDC,则将显示两个管道:一个用于 CDC 任务,另一个用于重新加载任务。选择是打开 <name> 数据任务还是什么都不做,然后单击创建。
根据您的选择,将打开任务或显示项目列表。
-
如果选择打开任务,数据集选项卡将显示所选源表格的结构和元数据。这包括所有显式列出的表以及与选择规则匹配的表。
如果要从数据源中添加更多表,请单击选择源数据。
-
可选择如 数据复制任务设置 中所述更改任务设置。
-
您可以对数据集执行转换、筛选数据或添加列。
有关更多信息,请参阅管理数据集。
-
添加所需的转换后,可以通过单击验证数据集来验证数据集。如果验证失败,请先解决错误,然后再继续。
有关更多信息,请参阅验证和调整数据集。
-
准备好后,单击准备对数据任务进行编目并准备好执行。
-
准备好数据任务后,单击运行。
有关恢复任务和运行任务的其他方法的信息,请参阅高级运行选项。
-
复制任务现在应该开始了,您可以在监视器中看到进度。有关更多信息,请参阅监视单个数据任务
设置数据集的加载优先级
您可以通过为每个数据集指定加载优先级来控制数据任务中数据集的加载顺序。例如,如果您想先加载较小的数据集,然后再加载较大的数据集,这就很有用。
-
点击加载优先级。
-
为每个数据集选择加载优先级。
默认加载优先级为正常。数据集将按以下优先顺序加载:
-
最高
-
较高
-
高
-
正常
-
低
-
较低
-
最低
具有相同优先级的数据集不分先后加载。
-
-
单击确定。
正在刷新元数据
您可以刷新任务中的元数据,以与任务的设计视图中源元数据的更改保持一致。对于使用 Metadata manager 的 SaaS 应用程序,必须先刷新 Metadata manager,然后才能刷新数据任务中的元数据。
-
您可以:
-
单击 ...,然后刷新元数据以刷新任务中所有数据集的元数据。
-
点击在数据集中的某个数据集上的 ...,然后刷新元数据以刷新单个数据集的元数据。
您可以在屏幕下部的刷新元数据下查看元数据刷新的状态。通过将光标悬停在 上,您可以看到元数据上次刷新的时间。
-
-
准备数据任务才能应用更改。
准备好数据任务并应用更改后,将从刷新元数据中删除这些更改。
您必须准备使用此任务的存储任务来传播更改。
如果删除列,则会添加一个具有 Null 值的转换,以确保存储不会丢失历史数据。
限制
-
如果数据类型和数据长度相同,则在此之前在同一时隙中具有删除列的重命名将被转换为删除列重命名。
示例:
之前:a b c d
之后:a c1 d
在这个例子中,b 被删除,c 被重命名为 c1,b 和 c 具有相同的数据类型和数据长度。
这将被识别为 b 到 c1 并删除 c 的重命名。
-
即使删除了最后一列,并且其前面的一列被重命名,也无法识别最后一列的重命名。
示例:
之前:a b c d
之后:a b c1
在这个例子中,d 被删除,c 被重命名为 c1。
这将被识别为 c 和 d 的删除,以及 c1 的添加。
-
假设在末尾添加了新列。如果在中间添加与下一列具有相同数据类型的列,则可能会将其解释为删除和重命名。
复制数据时的限制和考虑事项
转换受以下限制:
- 语序为从右向左的语言的列不支持转换。
无法对名称中包含特殊字符(例如 #、\、/、-)的列执行转换。
- LOB/CLOB 数据类型唯一支持的转换是删除目标上的列。
- 不支持使用转换重命名列,然后添加同名的新列。
移动的列不支持更改可空性,无论是直接更改还是使用转换规则。但是,默认情况下,任务中创建的新列可以为空。