Данные CDC

Процесс адаптации передает данные из источника CDC или SaaS и сохраняет их в таблицах Iceberg. Изменения из источников данных постоянно применяются к таблицам хранилища в виде мини-пакетов.

Подключенные данные

Подключение данных запускается в проекте. Наборы данных хранятся в S3 местоположении, определенном в проекте. Для получения дополнительной информации о проектах см. раздел Создание проекта конвейера данных.

1. В проекте щелкните Создать, затем Подключить данные.

   Примечание к подсказкеТакже можно щелкнуть на существующем источнике в проекте и затем выбрать Подключить данные.

2. Введите Имя и Описание для подключения.

   Нажмите Далее.

3. Выберите подключение источника.

   Можно выбрать существующее подключение источника или создать новое подключение к источнику.

   Для получения дополнительной информации см. раздел Настройка подключений к источникам данных.

   Нажмите Далее.

4. Выберите данные для загрузки.

   Для получения дополнительной информации см. раздел Выбор данных.

   Нажмите Далее.

   Откроется окно Параметры, в котором можно выбрать метод обновления и параметры истории.

5. Выберите метод, который будет использоваться для обновления данных, в разделе Метод обновления.

   • Захват изменений данных (CDC)

     Если в данных имеются таблицы, которые не поддерживают технологию CDC, необходимо создать два конвейера данных: один с таблицами, поддерживающими CDC, и второй — с остальными таблицами и видами, используя режим Перезагрузка и сравнение.

   • Перезагрузка и сравнение

6. В разделе Журнал выберите, нужно ли реплицировать историю предшествующих данных в дополнение к текущим.

7. По окончании нажмите Далее.

8. Проверьте задачи данных, созданные для подключения данных, и, если нужно, переименуйте.

   Примечание к подсказкеЭти имена используются при присвоении имен схемам баз данных в задаче хранения данных. Рекомендуется использовать уникальные имена, чтобы избежать конфликтов с задачами данных в других проектах, использующих эту же платформу.

9. Выберите, нужно ли открыть любую из созданных задач данных или вернуться в проект.

   По завершении нажмите кнопку Готово.

10. Задачи подключения данных созданы. Чтобы начать репликацию данных, необходимо:

11. подготовить и запустить задачу промежуточного хранения данных.

    Для получения дополнительной информации см. раздел Промежуточное хранение данных, полученных из источников данных.

12. подготовить и запустить задачу хранения данных.

    Для получения дополнительной информации см. раздел Хранение наборов данных.

Выбор данных

Можно выбрать определенные таблицы или виды, а также использовать правила выбора для включения или исключения групп таблиц.

Чтобы задать критерий выборки для схем и таблиц, используйте знак подстановки %.

• %.% позволяет выбрать все таблицы во всех схемах.

• Public.% определяет все таблицы в схеме Public.

Критерий выбора позволяет просмотреть результат в зависимости от выбранных условий.

Можно выполнить любое из действий:

• Создать правило для включения или исключения группы таблиц, удовлетворяющих критерию выбора.

  Нажмите Добавить правило из критериев выбора, чтобы добавить правило, и выберите Включить или Исключить.

  Правила отображаются в разделе Правило выбора.

• Выберите один или несколько наборов данных и нажмите Добавить выбранные наборы данных.

  Добавленные наборы данных отображаются в Явно выбранные наборы данных.

Правила выбора применяются только к текущему набору таблиц и видов, однако они не будут применяться к таблицам и видам, добавляемым позже.