Промежуточное хранение данных из источников данных

Первым шагом переноса данных при подготовке является промежуточное хранение данных. Это включает в себя перенос данных из источника данных в область промежуточного хранения.

Вы можете выполнять промежуточное хранение данных из ряда источников данных через подключения к источникам.

Область промежуточного хранения определяется при создании проекта.

• Qlik Cloud (via Amazon S3)

  При промежуточном хранении данных в Qlik Cloud (через Amazon S3), вы можете использовать их для генерации таблиц QVD, готовых для аналитики в Qlik Cloud.

• Облачное хранилище данных

  При промежуточном хранении данных в облачном хранилище данных, таком как Snowflake или Azure Synapse Analytics, вы можете хранить таблицы в том же облачном хранилище данных.

• Открытое озеро данных Qlik

  При промежуточном хранении данных в Открытое озеро данных Qlik, ваши данные сохраняются в открытом формате таблиц Iceberg и могут быть зеркалированы в ваше облачное хранилище данных.

Вы также можете выполнять промежуточное хранение данных в lakehouse, где данные помещаются в облачное файловое хранилище под управлением Snowflake. Для получения дополнительной информации см. Промежуточное хранение данных в хранилище в озере данных.

Создание и настройка задачи промежуточного хранения данных

Здесь описывается, как создать задачу промежуточного хранения данных. Самый быстрый способ создать конвейер данных — это подготовить данные, что приведет к созданию задачи промежуточного хранения данных и задачи хранения данных, готовых к подготовке и запуску. Для получения дополнительной информации см. Ввод данных в хранилище данных.

1. В своем проекте нажмите Создать и выберите Промежуточное хранение данных.

2. В диалоговом окне Промежуточное хранение данных введите имя и описание задачи данных.

   Выберите Открыть, чтобы открыть задачу промежуточного хранения данных после ее создания.

   Нажмите Создать.

3. Нажмите Выбрать исходные данные.

4. Выберите подключение к исходным данным и нажмите Далее.

   Вы можете использовать фильтры на левой панели, чтобы отфильтровать список подключений по типу источника, пространству и владельцу.

   Если у вас еще нет подключения к исходным данным, сначала необходимо создать его, нажав Добавить подключение.

   Для получения дополнительной информации о настройке подключения к поддерживаемым источникам см. Настройка подключений к источникам данных.

   Примечание к информацииПосле выбора таблиц на следующем шаге изменить подключение к источнику с локального источника данных на облачный источник данных или наоборот будет невозможно. Вы можете изменить подключение только на другой источник данных того же типа.

5. Выберите наборы данных для включения в задачу данных. Диалоговое окно выбора различается в зависимости от типа источника, к которому вы подключились.

   Завершив выбор таблиц, нажмите Сохранить.

   Отобразится раздел Наборы данных.

6. Вы можете изменить настройки для промежуточного хранения. Это не обязательно.

   • Нажмите Настройки.

   Для получения дополнительной информации о настройках см. Настройки промежуточного хранения.

7. Теперь вы можете просмотреть структуру и метаданные таблиц выбранного ресурса данных. Сюда входят все явно указанные таблицы, а также таблицы, соответствующие правилам выбора.

   Если вы хотите добавить больше таблиц из источника данных, нажмите Выбрать исходные данные.

8. Вы можете выполнять базовые преобразования наборов данных, такие как фильтрация данных или добавление столбцов. Это не обязательно.

   Для получения дополнительной информации см. Управление наборами данных.

9. Добавив нужные преобразования, вы можете проверить наборы данных, нажав Проверить наборы данных. Если в ходе проверки обнаружены ошибки, исправьте их перед продолжением.

   Для получения дополнительной информации см. Проверка и корректировка наборов данных.

10. Когда все будет готово, нажмите Подготовить, чтобы каталогизировать задачу данных и подготовить ее к выполнению.

    Вы можете следить за ходом выполнения в разделе Ход подготовки в нижней части экрана.

11. Когда задача данных подготовлена и вы готовы начать репликацию данных, нажмите Запустить.

Репликация должна начаться, и вы сможете увидеть ход выполнения в разделе Мониторинг. Для получения дополнительной информации см. Мониторинг отдельной задачи данных.

Выбор данных из базы данных

Можно выбрать определенные таблицы или виды, а также использовать правила выбора для включения или исключения групп таблиц.

Чтобы задать критерий выборки для схем и таблиц, используйте знак подстановки %.

• %.% позволяет выбрать все таблицы во всех схемах.

• Public.% определяет все таблицы в схеме Public.

Критерий выбора позволяет просмотреть результат в зависимости от выбранных условий.

Можно выполнить любое из действий:

• Создать правило для включения или исключения группы таблиц, удовлетворяющих критерию выбора.

  Нажмите Добавить правило из критериев выбора, чтобы добавить правило, и выберите Включить или Исключить.

  Правила отображаются в разделе Правило выбора.

• Выберите один или несколько наборов данных и нажмите Добавить выбранные наборы данных.

  Добавленные наборы данных отображаются в Явно выбранные наборы данных.

Правила выбора применяются только к текущему набору таблиц и видов, однако они не будут применяться к таблицам и видам, добавляемым позже.

Запуск задачи промежуточного хранения с использованием функции Захват измененных данных (CDC)

Вы можете запустить задачу промежуточного хранения, когда она будет подготовлена. Это запустит репликацию, которая перенесет данные из локального источника данных в область промежуточного хранения.

• Нажмите Запустить, чтобы начать промежуточное хранение данных.

Репликация должна начаться, и задача данных получит статус Выполняется. Сначала копируется весь источник данных, затем отслеживаются изменения. Это означает, что изменения постоянно отслеживаются и переносятся при их обнаружении. Это позволяет поддерживать данные промежуточного хранения в области промежуточного хранения в актуальном состоянии.

На домашней странице Qlik Talend Data Integration вы можете просмотреть статус, дату и время обновления данных промежуточного хранения, а также количество таблиц с ошибками. Вы также можете открыть задачу данных и выбрать вкладку Таблицы для просмотра базовой информации метаданных для таблиц.

Вы можете подробно отслеживать ход выполнения, открыв вкладку Мониторинг. Для получения дополнительной информации см. Мониторинг отдельной задачи данных.

Когда все таблицы загружены и обработан первый набор изменений, поле Данные обновлены по состоянию на на карточке задачи данных указывает, что изменения источника вплоть до этого времени доступны в задаче данных.

Перезагрузка таблиц

Вы можете перезагрузить данные из источника.

Перезагрузка отдельных таблиц

Вы можете перезагрузить определенные таблицы вручную, не мешая процессу захвата измененных данных. Это полезно при возникновении проблем с CDC для одной или нескольких таблиц.

1. Откройте задачу промежуточного хранения данных и выберите вкладку Мониторинг.

2. Выберите таблицы, которые вы хотите перезагрузить.

3. Нажмите Перезагрузить таблицы.

If you cannot resolve the issues by reloading tables, or if they affect the entire task, you can reload all tables to the target instead. This will restart change data capture.

Перезагрузка всех таблиц в целевой объект

Вы можете перезагрузить все таблицы в целевой объект, если возникли проблемы с CDC, которые невозможно решить путем перезагрузки отдельных таблиц. Примерами проблем являются пропущенные события, проблемы, вызванные реорганизацией исходной базы данных, или сбой при чтении событий исходной базы данных.

1. Остановите задачу данных и все задачи, которые ее используют.

2. Откройте задачу данных и перейдите вкладку Мониторинг.

3. Щелкните ..., а затем Перезагрузить цель.

В результате этого все таблицы будут перезагружены в цель с использованием операции «Отбросить-Создать» (Drop-Create), а также будут перезапущены все процессы захвата изменений данных с этого момента.

• Задачи хранения, которые используют эту задачу промежуточного хранения, будут перезагружены в режиме «Сравнить и применить» для синхронизации при следующем запуске. Существующая история будет сохранена. История типа 2 будет обновлена с учетом изменений после выполнения процесса «Перезагрузка и сравнение».

  Метка времени для начальной даты в истории типа 2 будет отражать дату перезагрузки, а не фактическую дату внесения изменения в источник.

• Виды хранения в реальном времени не будут надежными во время операции перезагрузки цели и до окончания синхронизации. Хранилище полностью синхронизируется, когда:

  • все таблицы перезагружаются в режиме «Сравнить и применить»,

  • один цикл изменений выполняется для каждой таблицы.

Запуск задачи промежуточного хранения данных с использованием функции Перезагрузить и сравнить

Вы можете копировать данные с помощью задачи промежуточного хранения данных, когда она подготовлена.

• Нажмите Запустить, чтобы начать полную загрузку.

Теперь начнется копирование данных, и задача данных получит статус Выполняется. После копирования всего источника данных статус изменится на Завершено.

На домашней странице Qlik Talend Data Integration вы можете просмотреть статус, дату и время обновления данных промежуточного хранения, а также количество таблиц с ошибками. Вы также можете открыть задачу данных и выбрать вкладку Таблицы для просмотра базовой информации метаданных для таблиц.

Вы можете подробно отслеживать ход выполнения, открыв вкладку Мониторинг. Для получения дополнительной информации см. Мониторинг отдельной задачи данных.

Когда все таблицы загружены, поле Данные обновлены по состоянию на на карточке задачи данных указывает, что изменения источника вплоть до этого времени доступны в ресурсе данных. Однако некоторые таблицы задачи данных могут быть обновлены по состоянию на более позднее время, в зависимости от того, когда началась их загрузка. Это означает, что согласованность данных не гарантируется. Например, если загрузка началась в 08:00 и заняла 4 часа, после завершения загрузки в поле Данные обновлены по состоянию на будет отображаться время 08:00. Однако таблица, перезагрузка которой началась в 11:30, будет включать изменения источника, произошедшие в период с 08:00 до 11:30.

Поле Данные обновлены по состоянию на отражает только те таблицы, которые были успешно загружены. Оно не указывает информацию о таблицах, перезагрузка которых завершилась сбоем. В облачных целевых объектах это поле будет пустым, если перезагрузка завершилась с ошибками во всех таблицах.

Перезагрузка данных при использовании функции Перезагрузить и сравнить

Если вы используете Перезагрузить и сравнить в качестве метода обновления, вам необходимо перезагружать данные, чтобы поддерживать их в актуальном состоянии по отношению к источнику данных.

• Нажмите Перезагрузить, чтобы выполнить ручную перезагрузку всех таблиц.

• Настройте запланированную перезагрузку.

Перезагрузка отдельных таблиц

Вы можете перезагрузить определенные таблицы вручную. Это полезно при возникновении проблем с одной или несколькими таблицами.

1. Откройте задачу промежуточного хранения данных и выберите вкладку Мониторинг.

2. Выберите таблицы, которые вы хотите перезагрузить.

3. Нажмите Перезагрузить таблицы.

Планирование задачи промежуточного хранения данных Перезагрузить и сравнить

Вы можете запланировать периодические перезагрузки для задачи промежуточного хранения данных, если у вас есть роль Может управлять или Может редактировать в пространстве задачи данных. Чтобы расписание было активным, статус задачи данных должен быть не ниже Подготовлено.

• Нажмите ... на задаче данных и выберите Планирование.

  Вы можете настроить расписание на основе времени.

  Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.

Настройка приоритета загрузки для наборов данных

В задаче данных можно назначить приоритет загрузки каждому набору данных, чтобы управлять порядком их загрузки. Это может быть полезно, например, если необходимо, чтобы меньшие наборы данных загружались раньше больших.

1. Щелкните Приоритет загрузки.

2. Выберите приоритет загрузки для каждого набора данных.

   По умолчанию задан приоритет загрузки Нормальный. Наборы данных будут загружаться в следующем порядке приоритета:

   • Самый высокий

   • Более высокий

   • Высокий

   • Нормальный

   • Низкий

   • Более низкий

   • Самый низкий

   Наборы данных с одинаковым приоритетом загружаются без соблюдения какого-то особого порядка.

3. Щелкните ОК.

Операции над задачей промежуточного хранения данных

В меню задачи вы можете выполнять следующие операции над задачей промежуточного хранения данных.

• Открыть

  Это открывает задачу промежуточного хранения данных. Вы можете просмотреть структуру таблиц и сведения о задаче данных.

• Редактировать

  Вы можете изменить имя и описание задачи.

• Удалить

  Вы можете удалить задачу данных.

  Следующие объекты не удаляются:

  • Данные в области промежуточного хранения

  • Схемы на целевой платформе

• Запустить

  Вы можете запустить задачу данных, чтобы начать копирование данных.

  Запуск задачи промежуточного хранения с использованием функции Захват измененных данных (CDC)

  Запуск задачи промежуточного хранения данных с использованием функции Перезагрузить и сравнить

• Остановить

  Вы можете остановить выполнение запущенной задачи данных. Область промежуточного хранения не будет обновляться измененными данными.

  При остановке задачи данных полной загрузки с расписанием перезагрузки останавливается только текущая перезагрузка. Если задача данных имеет статус Остановлено и имеется активное расписание перезагрузки, она будет перезагружена снова в следующее запланированное время. Необходимо отключить расписание перезагрузки в разделе Расписание перезагрузки.

• Перезагрузить

  Вы можете выполнить ручную перезагрузку задачи данных в режиме обновления Перезагрузить и сравнить.

• Подготовить

  Это подготавливает задачу к выполнению. Это включает в себя:

  • Проверку того, что структура является допустимой.

  • Создание или изменение физических таблиц и представлений в соответствии со структурой.

  • Генерацию кода SQL для задачи данных.

  • Создание или изменение записей каталога для выходных наборов данных задачи.

  Вы можете следить за ходом выполнения в разделе Ход подготовки в нижней части экрана.

  Примечание к информацииПрежде чем приступать к подготовке задачи, остановите все задачи, которые в данный момент следуют за ней.

• Воссоздать таблицы

  Это воссоздает наборы данных из источника.

  Примечание к информацииЕсли возникли проблемы с отдельными таблицами, рекомендуется сначала попробовать перезагрузить таблицы, а не создавать их заново. Воссоздание таблиц может привести к потере исторических данных. При наличии существенных изменений необходимо также подготовить нижестоящие задачи данных, потребляющие воссозданные задачи данных, для перезагрузки данных.

• Планирование

  Вы можете настроить запланированную перезагрузку для задач промежуточного хранения данных в режиме Полная загрузка. Вы можете задать расписание на основе времени, которое можно настроить.

  Вы также можете включать или выключать запланированные перезагрузки.

  Для планирования перезагрузок у вас должна быть роль Может управлять в пространстве задачи данных.

• Хранить данные

  Вы можете создать задачу хранения данных, которая использует данные из этой задачи промежуточного хранения данных.

Обновление метаданных

Можно обновить метаданные в задаче в соответствии с изменениями метаданных источника в виде Дизайн задачи. Для приложений SaaS, использующих Metadata Manager, необходимо обновить Metadata Manager, прежде чем обновлять метаданные в задаче данных.

1. Можно либо:

   • Щелкните ..., а затем Обновить метаданные, чтобы обновить метаданные для всех наборов данных в задаче.

   • Щелкните ... для набора данных в списке Наборы данных, а затем Обновить метаданные, чтобы обновить метаданные для одного набора данных.

   Можно просмотреть статус обновления метаданных в области Обновить метаданные в нижней части экрана. Чтобы увидеть время последнего обновления метаданных, наведите указатель мыши на .

2. Подготовьте задачу данных, чтобы применить изменения.

   После того как задача данных подготовлена, а изменения применены, изменения удаляются из области Обновить метаданные.

Необходимо подготовить задачи хранения, которые используют эту задачу для распространения изменений

Если столбец удаляется, добавляется преобразование с нулевыми значениями (Null), чтобы исключить потерю исторических данных при хранении

Ограничения при обновлении метаданных

• Если выполняется переименование столбца, а предшествующий столбец отбрасывается, эта задача преобразуется в переименование отброшенного столбца, если эти столбцы имеют одинаковые тип и длину данных.

  Пример:  

  До: a b c d

  После: a c1 d

  В этом примере столбец b отбрасывался, а c переименован в c1, при этом b и c имеют одинаковые тип и длину данных.

  Это будет идентифицировано как переименование b в c1 и отбрасывание c.

• Переименование последнего столбца не распознается, даже если он отброшен, а предшествующий столбец переименован.

  Пример:  

  До: a b c d

  После: a b c1

  В этом примере столбец d отброшен, а c переименован в c1.

  Это будет идентифицировано как отбрасывание c и d, и добавление c1.

• Предполагается, что новые столбцы добавляются в конце. Если столбцы добавляются в середине с тем же типом данных, что и следующий столбец, эти задачи могут быть интерпретированы как отбрасывание и переименование.

Эволюция схемы

Эволюция схем позволяет легко обнаружить структурные изменения в нескольких источниках данных, а затем контролировать применение этих изменений к задаче. Эволюцию схемы можно использовать для обнаружения изменений DDL, которые были внесены в исходную схему данных. Также можно применить некоторые изменения автоматически.

Для каждого типа изменения можно выбрать способ обработки изменений в разделе Эволюции схемы в настройках задачи. Можно применить изменение, проигнорировать его, приостановить работу таблицы или остановить обработку задачи.

Можно задать, какое действие будет использоваться для обработки изменений DDL для каждого типа изменений. Некоторые действия доступны не для всех типов изменений.

• Применить к цели

  Изменения применяются автоматически.

• Игнорировать

  Изменения игнорируются.

• Приостановить таблицу

  Таблица приостанавливается. Для таблицы будет отображаться ошибка в разделе Мониторинг.

• Остановить задачу

  Обработка задачи останавливается. Это удобно, если требуется обрабатывать все изменения схемы вручную. Это также остановит составление графика, то есть запланированные запуски не будут выполняться.

Поддерживаются следующие изменения:

• Добавить столбец

• Переименовать столбец

• Изменить тип данных столбца

• Создать таблицу, соответствующую шаблону выбора
  

  Если вы использовали Правило выбора для добавления наборов данных, соответствующих шаблону, новые таблицы, соответствующие этому шаблону, будут обнаружены и добавлены.

Для получения дополнительной информации о настройках задачи см. Эволюция схемы

Вы также можете получать уведомления об изменениях, обрабатываемых с помощью эволюции схемы. Для получения дополнительной информации см. Настройка уведомлений об изменениях в работе.

Ограничения для эволюции схемы

При эволюции схемы действуют следующие ограничения.

• Эволюция схемы поддерживается только при использовании CDC в качестве метода обновления.

• Если параметры эволюции схемы изменены, необходимо подготовить задачу заново.

• Если выполняется переименование таблиц, эволюция схемы не поддерживается. В этом случае необходимо обновить метаданные перед подготовкой задачи.

• В процессе разработки задачи необходимо обновить браузер, чтобы получить изменения эволюции схемы. Можно настроить уведомления, чтобы получать оповещения об изменениях.

• В задачах промежуточного хранения отбрасывание столбцов не поддерживается. Отбрасывание и добавление столбца приведет к ошибке таблицы.

• В задачах промежуточного хранения операция DROP TABLE (ОТБРОСИТЬ ТАБЛИЦУ) не приведет к отбрасыванию таблицы. Удаление таблицы и последующее добавление таблицы приводит лишь к тому, что старая таблица усекается, а новая таблица не добавляется.

• Изменение длины столбца возможно не для всех целей в зависимости от поддержки в целевой базе данных.

• Если имя столбца изменено, явные преобразования, определенные с помощью этого столбца, не будут выполняться, так как они основаны на имени столбца.

• Ограничения, действующие при обновлении метаданных, также распространяются и на эволюцию схем.

• Если задача содержит изменения дизайна, которые еще не были подготовлены, и при запуске задачи обнаруживаются изменения эволюции исходной схемы, задача будет остановлена во избежание конфликтов. Подготовьте ожидающие изменения дизайна и запустите задачу снова.

При захвате изменений DDL действуют следующие ограничения:

• Когда в исходной базе данных происходит быстрая последовательность операций (например, DDL>DML>DDL), Qlik Talend Data Integration может разобрать журнал в неправильном порядке, что приведет к отсутствию данных или непредсказуемому поведению. Чтобы свести к минимуму такую вероятность, лучше всего подождать, пока изменения будут применены к цели, и только после этого выполнять следующую операцию.

  Например, если исходная таблица переименовывается несколько раз подряд в течение короткого интервала времени (и вторая операция переименования возвращает ей исходное имя), во время захвата изменений может появиться сообщение об ошибке, что таблица уже существует в целевой базе данных.

• Если выполняется переименование таблицы, используемой в задаче, а затем эта задача останавливается, Qlik Talend Data Integration не захватит изменения, внесенные в эту таблицу после возобновления задачи.

• Переименование исходной таблицы, пока задача остановлена, не поддерживается.

• Перераспределение столбцов первичного ключа таблицы не поддерживается (и поэтому не записывается в управляющую таблицу DDL History).
• Если тип данных столбца изменен, а затем выполняется переименование этого же столбца, пока задание остановлено, изменение DDL отражается в управляющей таблице DDL History как Drop Column (Отбросить столбец), а затем Add Column (Добавить столбец), когда задача возобновляется. Обратите внимание, что такое же поведение может наблюдаться и в результате длительной задержки.
• Операции CREATE TABLE (СОЗДАТЬ ТАБЛИЦУ), выполненные в источнике, пока задача остановлена, будут применены к цели при возобновлении задачи, но не будут записаны как DDL в управляющей таблице DDL History.

• Операции, связанные с изменением метаданных (такие как ALTER TABLE (ИЗМЕНИТЬ ТАБЛИЦУ), реорганизация, перестройка кластеризованного индекса и т. д.), могут вызывать непредсказуемое поведение, если они были выполнены:

  • Во время полной загрузки

    -ИЛИ-

  • Между меткой времени Начать обработку изменений с и текущим временем (т. е. моментом, когда пользователь нажимает кнопку OK в диалоговом окне Расширенные параметры запуска).

    Пример:

    ЕСЛИ:

    Указанное время Начать обработку изменений с ― 10:00.

    И:

    Столбец с именем Age (Возраст) добавляется в таблицу Employees (Сотрудники) в 10:10 утра.

    И:

    Пользователь нажимает кнопку OK в диалоговом окне Расширенные параметры запуска в 10:15 утра.

    ТО:

    Изменения, которые произошли между 10:00 и 10:10, могут привести к ошибкам CDC.

  Примечание к информации

  В любом из вышеперечисленных случаев необходимо перезагрузить затронутые таблицы, чтобы данные были правильно перенесены (перенесено) в цель.

• Оператор DDL ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> не реплицирует значение по умолчанию в цель, и новый/измененный столбец получает значение NULL. Обратите внимание, что это может произойти, даже если DDL, добавивший/изменивший столбец, был выполнен в прошлом. Если новый/измененный столбец допускает нулевые значения, конечная точка источника обновляет все строки таблицы, прежде чем регистрировать сам DDL. В результате Qlik Talend Data Integration захватывает изменения, но не обновляет цель. Поскольку новый/измененный столбец получает значение NULL, то если целевая таблица не имеет столбца первичного ключа/уникального индекса, при последующих обновлениях будет появляться сообщение «Затронуто строк: 0».

• Изменения в столбцах с точными данными TIMESTAMP (МЕТКА ВРЕМЕНИ) и DATE (ДАТА) не будут захватываться.

Обработка изменений, которые не применяются автоматически

Здесь описывается, как обрабатывать изменения, которые не могут быть применены к целевому объекту, то есть когда действием является «Игнорировать», «Приостановить» или «Остановить задачу».

Удаление столбцов

Если вы удаляете столбец, который используется задачей хранения данных с включенной историей, вам необходимо выполнить следующие шаги, чтобы сохранить историю и избежать возможной потери данных.

1. Остановите задачу промежуточного хранения данных.

2. Запустите задачу хранения данных, чтобы убедиться, что все данные промежуточного хранения прочитаны.

3. Удалите столбец в промежуточном хранении.

4. Запустите задачу промежуточного хранения данных.

5. В хранилище добавьте столбец с выражением по умолчанию (Null или значение по умолчанию) или удалите столбец.

Просмотр информации о задаче

Нажмите на панели меню, чтобы просмотреть информацию о задаче, например:

• Владелец

• Пространство

• Платформа данных

• Идентификатор проекта

• Идентификатор выполнения задачи данных

Изменение подключений к источникам или шлюза данных

Если вы изменяете подключение к источнику или шлюз исходных данных, необходимо воссоздать все таблицы.

Обслуживание области промежуточного хранения

Автоматическая очистка области промежуточного хранения не поддерживается. Это может повлиять на производительность.
Рекомендуется выполнять очистку старых данных полной загрузки в области промежуточного хранения вручную.

• Qlik Cloud (via Amazon S3)

  Если имеется несколько папок с данными полной загрузки, вы можете удалить все папки, кроме самой последней. Вы также можете удалить обработанные разделы измененных данных.

• Облачное хранилище данных

  Вы можете удалить обработанные записи таблиц полной загрузки и изменений.

Рекомендации

• Если первичный ключ в исходной таблице может обновляться, включите параметр DELETE и INSERT при обновлении столбца первичного ключа в разделе Настройка обработки изменений.

Ограничения

• Репликация данных типа varchar длиной более 8000 байт или Nvarchar длиной более 4000 байт не поддерживается.

• Изменение допустимости значений NULL не поддерживается для перемещаемых столбцов, будь то путем прямого изменения или с использованием правила преобразования. Однако новые столбцы, созданные в задаче, по умолчанию допускают значения NULL.

• Исходные столбцы типов CLOB и BLOB по умолчанию будут настроены как допускающие значения NULL, даже если в источнике они помечены как не допускающие значения NULL. Вы можете изменить их на не допускающие значения NULL, но тогда вам потребуется добавить выражение для добавления значения, отличного от NULL, на случай, если оно поступит из источника как NULL. Это может произойти в удаленных записях.

В отношении преобразований действуют следующие ограничения:

• Преобразования не поддерживаются для столбцов на языках с письмом справа налево.

• Невозможно выполнять преобразования в столбцах, в имени которых есть специальные символы (например, #, \, /, -).

• Единственное поддерживаемое преобразование для типов данных LOB/CLOB ― это отбрасывание столбца в целевой таблице.
• Не поддерживается использование преобразования с целью переименования столбца и последующего добавления нового столбца с тем же именем.