在数据湖中登陆数据

您可以设置在数据湖中登陆数据任务，将数据登陆到以下目标：

• Amazon S3

  有关配置与 AmazonS3 的连接的信息，请参阅Amazon S3。

• Azure Data Lake Storage

  有关配置与 Azure 数据湖存储的连接的信息，请参阅Azure Data Lake Storage。

• Google Cloud Storage

  有关配置与 Google Cloud Storage 的连接的信息，请参阅Google Cloud Storage。

有关配置与数据源的连接的信息，请参阅连接到数据源

要设置数据湖登陆任务，请执行以下操作：

1. 单击右上角的新增按钮，然后从下拉菜单中选择创建数据项目。

2. 在新建数据项目对话框中，执行以下操作：

   1. 为您的项目提供名称。

   2. 选择要在其中创建项目的空间。
   3. 任选地，提供描述。
   4. 选择复制作为用例。
   5. 如果要创建一个空项目而不配置任何设置，请清除打开复选框（可选）。

   6. 单击创建。

      将出现以下情况之一：

      • 如果选择了新建数据项目对话框中的打开复选框（默认值），则项目将打开。
      • 如果清除了新建数据项目对话框中的打开复选框，则该项目将添加到项目列表中。您可以稍后通过从项目的 菜单中选择打开来打开项目。

3. 项目打开后，单击登陆数据湖中的数据。

   登陆数据湖中的数据向导打开。

4. 在常规选项卡中，指定数据湖平台任务的名称和说明。然后单击下一步。

   信息注释不支持包含斜杠 (/) 或反斜杠 (\) 字符的名称。

5. 在选择源连接选项卡中，选择到源数据的连接。从操作列中的菜单中选择编辑，可以选择编辑连接设置。

   如果您还没有到源数据的数据连接，则需要先创建一个，方法是单击选项卡右上角的创建连接。

   您可以使用左侧的筛选器筛选连接列表。可以根据源类型、网关、空间和所有者筛选连接。连接列表上方的所有筛选器按钮显示当前筛选器的数量。您可以使用此按钮关闭或打开左侧的筛选器面板。当前活动的筛选器也显示在可用数据连接列表的上方。

   您也可以从右侧的下拉列表中选择上次修改时间、上次创建时间或按字母数字顺序来对列表进行排序。单击列表右侧的箭头可以更改排序顺序。

   选择数据源连接后，可以选择单击选项卡右上角的测试连接（推荐），然后单击下一步。

6. 在选择数据集选项卡中，选择要包含在数据湖登陆任务中的表和/或视图。您还可以使用通配符并创建选择规则，如从数据库选择数据中所述。

   信息注释不支持模式名称或包含斜杠 (/) 或反斜杠 (\) 字符的表名称。

7. 在选择目标连接选项卡中，从可用连接列表中选择目标，然后单击下一步。在特性方面，该选项卡与前面描述的选择源连接选项卡相同。

8. 在设置选项卡中，可以选择更改以下设置，然后单击下一步。

   更新方法：

   • 更改数据捕获 (CDC)：数据湖登陆任务从满负载开始（在此期间，所有选定的表都将登陆）。然后使用 CDC（更改数据捕获）技术使登陆数据保持最新。

     信息注释不支持 DDL 操作的 CDC（更改数据捕获）。
   • 重新加载将数据从选定的源表完全加载到目标平台，并在必要时创建目标表。任务启动时会自动进行满负载，但也可以手动执行或根据需要安排定期进行。

   如果您选择更改数据捕获 (CDC)，并且您的数据还包含不支持 CDC 的表或视图，则将创建两个数据管道。一个管道包含所有支持 CDC 的表，另一个管道则包含使用重新加载的所有其他表和视图。

   要使用的文件夹：

   根据要将文件写入的存储段文件夹，选择以下选项之一：

   • 默认文件夹：默认文件夹格式为 <your-project-name>/<your-task-name>
   • 根文件夹：文件将直接写入存储段。

   • 文件夹：输入文件夹名称。如果该文件夹不存在，将在数据湖登陆任务期间创建该文件夹。

     信息注释 文件夹名称不能包含特殊字符（例如 @、#、 ! 等）。

9. 在摘要选项卡中，将显示数据管道的可视化信息。选择是打开＜name＞任务还是什么都不做。然后单击创建。

   根据您的选择，将打开任务或显示项目列表。

10. 如果选择打开任务，数据集选项卡将显示所选数据资产表的结构和元数据。这包括所有显式列出的表以及与选择规则匹配的表。

    如果要从数据源中添加更多表，请单击选择源数据。

11. 可选择如 数据湖中的登陆设置 中所述更改任务设置。

12. 您可以对数据集执行转换、筛选数据或添加列。

    有关详细信息，请参阅管理数据集。

13. 添加所需的转换后，可以通过单击验证数据集来验证数据集。如果验证失败，请先解决错误，然后再继续。

    有关详细信息，请参阅验证和调整数据集。

14. 准备好后，单击准备对登陆任务进行编目并准备好执行。

15. 准备好数据任务后，单击运行。

16. 数据湖登陆任务现在应该开始了。您可以在监视器视图中监视其进度。有关更多信息，请参阅监视单个数据任务

设置数据集的加载优先级

您可以通过为每个数据集指定加载优先级来控制数据任务中数据集的加载顺序。例如，如果您想先加载较小的数据集，然后再加载较大的数据集，这就很有用。

1. 点击加载优先级。

2. 为每个数据集选择加载优先级。

   默认加载优先级为正常。数据集将按以下优先顺序加载：

   • 最高

   • 较高

   • 高

   • 正常

   • 低

   • 较低

   • 最低

   具有相同优先级的数据集不分先后加载。

3. 单击确定。