Промежуточное хранение данных из источников данных | Qlik Cloud Справка
Перейти к основному содержимому Перейти к дополнительному содержимому

Промежуточное хранение данных из источников данных

Первым шагом передачи данных при их загрузке является промежуточное хранение данных. Это включает передачу данных из источника данных в зону промежуточного хранения.

Вы можете выполнять промежуточное хранение данных из ряда источников данных через подключения к источникам.

Зона промежуточного хранения определяется при создании проекта.

  • Qlik Cloud (через Amazon S3)

    При промежуточном хранении данных в Qlik Cloud (через Amazon S3) их можно использовать для создания таблиц QVD, готовых к аналитике в Qlik Cloud.

  • Облачное хранилище данных

    При промежуточном хранении данных в облачном хранилище данных, таком как Snowflake или Azure Synapse Analytics, можно хранить таблицы в том же облачном хранилище данных.

  • Открытое озеро данных Qlik

    При промежуточном хранении данных в Открытое озеро данных Qlik данные сохраняются в формате открытых таблиц Iceberg и могут быть зеркалированы в облачное хранилище данных.

Также можно выполнять промежуточное хранение данных в lakehouse, где данные помещаются в облачное файловое хранилище, управляемое Snowflake. Для получения дополнительной информации см. Промежуточное хранение данных в хранилище в озере данных.

Примечание к информацииЗадачи данных выполняются в контексте владельца проекта, к которому они относятся. Для получения дополнительной информации о необходимых ролях и разрешениях см. раздел Роли и разрешения в пространстве данных.

Создание и настройка задачи промежуточного хранения данных

Здесь описывается, как создать задачу промежуточного хранения данных. Самый быстрый способ создать конвейер данных — загрузить данные, что создаст задачу промежуточного хранения данных и задачу хранения данных, готовые к подготовке и запуску. Для получения дополнительной информации см. Ввод данных в хранилище данных.

  1. В проекте нажмите Создать и выберите Промежуточное хранение данных.

  2. В диалоговом окне Промежуточное хранение данных введите имя и описание задачи данных.

    Выберите Открыть, чтобы открыть задачу промежуточного хранения данных после ее создания.

    Нажмите Создать.

  3. Нажмите Выбрать исходные данные.

  4. Выберите подключение к исходным данным и нажмите Далее.

    Можно использовать фильтры на левой панели, чтобы отфильтровать список подключений по типу источника, пространству и владельцу.

    Если у вас еще нет подключения к исходным данным, сначала необходимо его создать, нажав Добавить подключение.

    Для получения дополнительной информации о настройке подключения к поддерживаемым источникам см. Настройка подключений к источникам данных.

    Примечание к информацииПосле выбора таблиц на следующем шаге невозможно изменить подключение к источнику с локального источника данных на облачный источник данных или наоборот. Можно изменить подключение только на другой источник данных того же типа.
  5. Выберите наборы данных для включения в задачу данных. Диалоговое окно выбора отличается в зависимости от типа источника, к которому вы подключились.

    Завершив выбор таблиц, нажмите Сохранить.

    Отобразится Наборы данных.

  6. Можно изменить настройки для промежуточного хранения. Это не обязательно.

    • Нажмите Настройки.

    Для получения дополнительной информации о настройках см. Настройки промежуточного хранения.

  7. Теперь можно предварительно просмотреть структуру и метаданные выбранных таблиц ресурса данных. Сюда входят все явно перечисленные таблицы и таблицы, соответствующие правилам выбора.

    Если вы хотите добавить больше таблиц из источника данных, нажмите Выбрать исходные данные.

  8. Можно выполнять базовые преобразования наборов данных, такие как фильтрация данных или добавление столбцов. Это не обязательно.

    Для получения дополнительной информации см. Управление наборами данных.

  9. После добавления нужных преобразований можно проверить наборы данных, нажав Проверить наборы данных. Если проверка обнаружит ошибки, исправьте их перед продолжением.

    Для получения дополнительной информации см. Проверка и корректировка наборов данных.

  10. Когда будете готовы, нажмите Подготовить, чтобы каталогизировать задачу данных и подготовить ее к выполнению.

    Вы можете следить за ходом выполнения в разделе Ход подготовки в нижней части экрана.

  11. Когда задача данных подготовлена и вы готовы начать репликацию данных, нажмите Запустить.

Теперь должна начаться репликация, и вы можете видеть прогресс в разделе Монитор. Для получения дополнительной информации см. Мониторинг индивидуальной задачи данных.

Выбор данных из базы данных

Можно выбрать определенные таблицы или виды, а также использовать правила выбора для включения или исключения групп таблиц.

Примечание к информацииCDC не поддерживается для видов.

Чтобы задать критерий выборки для схем и таблиц, используйте знак подстановки %.

  • %.% позволяет выбрать все таблицы во всех схемах.

  • Public.% определяет все таблицы в схеме Public.

Критерий выбора позволяет просмотреть результат в зависимости от выбранных условий.

Можно выполнить любое из действий:

  • Создать правило для включения или исключения группы таблиц, удовлетворяющих критерию выбора.

    Нажмите Добавить правило из критериев выбора, чтобы добавить правило, и выберите Включить или Исключить.

    Правила отображаются в разделе Правило выбора.

  • Выберите один или несколько наборов данных и нажмите Добавить выбранные наборы данных.

    Добавленные наборы данных отображаются в Явно выбранные наборы данных.

Правила выбора применяются только к текущему набору таблиц и видов, однако они не будут применяться к таблицам и видам, добавляемым позже.

Запуск задачи промежуточного хранения с Захват измененных данных (CDC)

Вы можете запустить задачу промежуточного хранения, когда она подготовлена. Это запускает репликацию, которая передает данные из локального источника данных в зону промежуточного хранения.

  • Нажмите Запустить, чтобы начать промежуточное хранение данных.

Теперь должна начаться репликация, и задача данных получит статус Выполняется. Сначала копируется весь источник данных, затем отслеживаются изменения. Это означает, что изменения постоянно отслеживаются и передаются при обнаружении. Это поддерживает данные промежуточного хранения в зоне промежуточного хранения в актуальном состоянии.

На главной странице Qlik Talend Data Integration можно просмотреть статус, дату и время обновления данных промежуточного хранения, а также количество таблиц с ошибками. Также можно открыть задачу данных и выбрать вкладку Таблицы для просмотра базовой информации о метаданных таблиц.

Вы можете подробно следить за прогрессом, открыв вкладку Монитор. Для получения дополнительной информации см. Мониторинг индивидуальной задачи данных.

Когда все таблицы загружены и первый набор изменений обработан, поле Данные обновлены до на карточке задачи данных указывает, что изменения источника до этого времени доступны в задаче данных.

Перезагрузка таблиц

Вы можете перезагрузить данные из источника.

Перезагрузка отдельных таблиц

Вы можете перезагрузить определенные таблицы вручную, не вмешиваясь в захват измененных данных. Это полезно, когда возникают проблемы с CDC в одной или нескольких таблицах.

  1. Откройте задачу промежуточного хранения данных и выберите вкладку Монитор.

  2. Выберите таблицы, которые вы хотите перезагрузить.

  3. Нажмите Перезагрузить таблицы.

Примечание к информацииЭта опция станет доступной после того, как задача промежуточного хранения будет запущена хотя бы один раз. Если нажать ее, когда задача промежуточного хранения не выполняется, таблицы будут перезагружены при следующем запуске задачи.

Если вы не можете решить проблемы путем перезагрузки таблиц или если они затрагивают всю задачу, вы можете вместо этого перезагрузить все таблицы в целевую систему. Это перезапустит захват измененных данных.

Перезагрузка всех таблиц в целевую систему

Вы можете перезагрузить все таблицы в целевую систему, если столкнулись с проблемами CDC, которые невозможно решить путем перезагрузки определенных таблиц. Примерами проблем являются пропущенные события, проблемы, вызванные реорганизацией исходной базы данных, или сбой при чтении событий исходной базы данных.

Примечание к информацииЭта операция доступна только для задач с методом обновления Захват измененных данных (CDC), которые были запущены хотя бы один раз.

  1. Остановите задачу данных и все задачи, которые ее используют.
  2. Откройте задачу данных и перейдите вкладку Мониторинг.

  3. Щелкните ..., а затем Перезагрузить цель.

В результате этого все таблицы будут перезагружены в цель с использованием операции «Отбросить-Создать» (Drop-Create), а также будут перезапущены все процессы захвата изменений данных с этого момента.

  • Задачи хранения, которые используют эту задачу промежуточного хранения, будут перезагружены в режиме «Сравнить и применить» для синхронизации при следующем запуске. Существующая история будет сохранена. История типа 2 будет обновлена с учетом изменений после выполнения процесса «Перезагрузка и сравнение».

    Метка времени для начальной даты в истории типа 2 будет отражать дату перезагрузки, а не фактическую дату внесения изменения в источник.

  • Виды хранения в реальном времени не будут надежными во время операции перезагрузки цели и до окончания синхронизации. Хранилище полностью синхронизируется, когда:

    • все таблицы перезагружаются в режиме «Сравнить и применить»,

    • один цикл изменений выполняется для каждой таблицы.

Примечание к информацииИзменения метаданных не поддерживаются. Если в источнике есть изменения метаданных, они распространяются на промежуточное хранение при перезагрузке данных, но не будут обработаны должным образом. Это может привести к сбою потребляющего хранилища.

Запуск задачи промежуточного хранения данных с Перезагрузить и сравнить

Вы можете копировать данные с помощью задачи промежуточного хранения данных, когда она подготовлена.

  • Нажмите Запустить, чтобы начать полную загрузку.

Теперь начнется копирование данных, и задача данных получит статус Выполняется. Когда весь источник данных скопирован, статус меняется на Завершено.

На главной странице Qlik Talend Data Integration можно просмотреть статус, дату и время обновления данных промежуточного хранения, а также количество таблиц с ошибками. Также можно открыть задачу данных и выбрать вкладку Таблицы для просмотра базовой информации о метаданных таблиц.

Вы можете подробно следить за прогрессом, открыв вкладку Монитор. Для получения дополнительной информации см. Мониторинг индивидуальной задачи данных.

Когда все таблицы загружены, поле Данные обновлены до на карточке задачи данных указывает, что изменения источника до этого времени доступны в ресурсе данных. Однако некоторые таблицы задачи данных могут быть обновлены до более позднего времени, в зависимости от того, когда началась их загрузка. Это означает, что согласованность данных не гарантируется. Например, если загрузка началась в 08:00 и заняла 4 часа, Данные обновлены до покажет 08:00 после завершения загрузки. Однако таблица, которая начала перезагружаться в 11:30, будет включать изменения источника, произошедшие между 08:00 и 11:30.

Поле Данные обновлены до отражает только успешно загруженные таблицы. Оно ничего не указывает относительно таблиц, перезагрузка которых завершилась неудачно. В облачных целевых системах это поле будет пустым, если перезагрузка завершилась с ошибками во всех таблицах.

Перезагрузка данных при использовании Перезагрузить и сравнить

При использовании Перезагрузить и сравнить в качестве метода обновления необходимо перезагружать данные, чтобы поддерживать их в актуальном состоянии относительно источника данных.

  • Нажмите Перезагрузить, чтобы выполнить ручную перезагрузку всех таблиц.

  • Настройте запланированную перезагрузку.

Перезагрузка отдельных таблиц

Вы можете перезагрузить определенные таблицы вручную. Это полезно, когда возникают проблемы с одной или несколькими таблицами.

  1. Откройте задачу промежуточного хранения данных и выберите вкладку Монитор.

  2. Выберите таблицы, которые вы хотите перезагрузить.

  3. Нажмите Перезагрузить таблицы.

Примечание к информации
  • Эта опция будет доступна после того, как задача промежуточного хранения будет запущена хотя бы один раз, и только когда задача не выполняется.
  • Изменения метаданных не поддерживаются. Если в источнике есть изменения метаданных, они распространяются на промежуточное хранение при перезагрузке данных, но не будут обработаны должным образом. Это может привести к сбою потребляющего хранилища.

Планирование задачи промежуточного хранения данных Перезагрузить и сравнить

Вы можете запланировать периодические перезагрузки для задачи промежуточного хранения данных, если у вас есть роли Может управлять и Может редактировать в пространстве задачи данных. Статус задачи данных должен быть как минимум Подготовлено, чтобы расписание было активным.

  • Нажмите ... на задаче данных и выберите Планирование.

    Вы можете установить расписание на основе времени.

    Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.

Примечание к информацииЕсли задача данных все еще перезагружается, когда должна начаться запланированная перезагрузка, запланированная перезагрузка пропускается до следующего запланированного события перезагрузки.

Настройка приоритета загрузки для наборов данных

В задаче данных можно назначить приоритет загрузки каждому набору данных, чтобы управлять порядком их загрузки. Это может быть полезно, например, если необходимо, чтобы меньшие наборы данных загружались раньше больших.

  1. Щелкните Приоритет загрузки.

  2. Выберите приоритет загрузки для каждого набора данных.

    По умолчанию задан приоритет загрузки Нормальный. Наборы данных будут загружаться в следующем порядке приоритета:

    • Самый высокий

    • Более высокий

    • Высокий

    • Нормальный

    • Низкий

    • Более низкий

    • Самый низкий

    Наборы данных с одинаковым приоритетом загружаются без соблюдения какого-то особого порядка.

  3. Щелкните ОК.

Примечание к информацииНаборы данных из источников приложений SaaS могут содержать зависимости в порядке загрузки. Учитывайте это при установке приоритета загрузки.

Операции с задачей промежуточного хранения данных

Вы можете выполнять следующие операции с задачей промежуточного хранения данных из меню задачи.

  • Открыть

    Это открывает задачу промежуточного хранения данных. Вы можете просмотреть структуру таблиц и сведения о задаче данных.

  • Редактировать

    Вы можете редактировать имя и описание задачи.

  • Удалить

    Вы можете удалить задачу данных.

    Следующие объекты не удаляются:

    • Данные в зоне промежуточного хранения

    • Схемы на целевой платформе

  • Запустить

    Вы можете запустить задачу данных, чтобы начать копирование данных.

    Запуск задачи промежуточного хранения с Захват измененных данных (CDC)

    Запуск задачи промежуточного хранения данных с Перезагрузить и сравнить

  • Остановить

    Вы можете остановить выполнение запущенной задачи данных. Зона промежуточного хранения не обновляется измененными данными.

    При остановке задачи данных полной загрузки с расписанием перезагрузки останавливается только текущая перезагрузка. Если статус задачи данных — Остановлено и есть активное расписание перезагрузки, она снова перезагрузится в следующее запланированное время. Необходимо отключить расписание перезагрузки в разделе Запланировать перезагрузку.

  • Перезагрузить

    Вы можете выполнить ручную перезагрузку задачи данных в режиме обновления Перезагрузить и сравнить.

  • Подготовить

    Это подготавливает задачу к выполнению. Это включает:

    • Проверку того, что дизайн действителен.

    • Создание или изменение физических таблиц и представлений в соответствии с дизайном.

    • Генерацию SQL-кода для задачи данных.

    • Создание или изменение записей каталога для выходных наборов данных задачи.

    Вы можете следить за ходом выполнения в разделе Ход подготовки в нижней части экрана.

    Примечание к информацииПрежде чем приступать к подготовке задачи, остановите все задачи, которые в данный момент следуют за ней.
  • Пересоздать таблицы

    Это пересоздает наборы данных из источника.

    Примечание к информацииЕсли возникли проблемы с отдельными таблицами, рекомендуется сначала попробовать перезагрузить таблицы, а не создавать их заново. Воссоздание таблиц может привести к потере исторических данных. При наличии существенных изменений необходимо также подготовить нижестоящие задачи данных, потребляющие воссозданные задачи данных, для перезагрузки данных.
  • Планирование

    Вы можете настроить запланированную перезагрузку для задач промежуточного хранения данных в режиме Полная загрузка. Вы можете установить расписание на основе времени, которое можно настроить.

    Вы также можете включать или отключать запланированные перезагрузки.

    У вас должна быть роль Может управлять в пространстве задачи данных для планирования перезагрузок.

  • Хранить данные

    Вы можете создать задачу хранения данных, которая использует данные из этой задачи промежуточного хранения данных.

Обновление метаданных

Можно обновить метаданные в задаче в соответствии с изменениями метаданных источника в виде Дизайн задачи. Для приложений SaaS, использующих Metadata Manager, необходимо обновить Metadata Manager, прежде чем обновлять метаданные в задаче данных.

Примечание к информацииЭта операция недоступна при использовании коннекторов для приложений SaaS, предоставляемых в режиме предварительного просмотра. Коннекторы, предоставляемые в режиме предварительного просмотра, обозначены кнопкой Изображение кнопки «Предварительный просмотр», как в диалоговом окне Создание подключения, так и в интерактивной справке.
Примечание к информацииЭта операция затрагивает только таблицы в виде Дизайн задачи.
  1. Можно либо:

    • Щелкните ..., а затем Обновить метаданные, чтобы обновить метаданные для всех наборов данных в задаче.

    • Щелкните ... для набора данных в списке Наборы данных, а затем Обновить метаданные, чтобы обновить метаданные для одного набора данных.

    Можно просмотреть статус обновления метаданных в области Обновить метаданные в нижней части экрана. Чтобы увидеть время последнего обновления метаданных, наведите указатель мыши на кнопка «информация».

  2. Подготовьте задачу данных, чтобы применить изменения.

    После того как задача данных подготовлена, а изменения применены, изменения удаляются из области Обновить метаданные.

Необходимо подготовить задачи хранения, которые используют эту задачу для распространения изменений

Если столбец удаляется, добавляется преобразование с нулевыми значениями (Null), чтобы исключить потерю исторических данных при хранении

Ограничения при обновлении метаданных

  • Если выполняется переименование столбца, а предшествующий столбец отбрасывается, эта задача преобразуется в переименование отброшенного столбца, если эти столбцы имеют одинаковые тип и длину данных.

    Пример:  

    До: a b c d

    После: a c1 d

    В этом примере столбец b отбрасывался, а c переименован в c1, при этом b и c имеют одинаковые тип и длину данных.

    Это будет идентифицировано как переименование b в c1 и отбрасывание c.

  • Переименование последнего столбца не распознается, даже если он отброшен, а предшествующий столбец переименован.

    Пример:  

    До: a b c d

    После: a b c1

    В этом примере столбец d отброшен, а c переименован в c1.

    Это будет идентифицировано как отбрасывание c и d, и добавление c1.

  • Предполагается, что новые столбцы добавляются в конце. Если столбцы добавляются в середине с тем же типом данных, что и следующий столбец, эти задачи могут быть интерпретированы как отбрасывание и переименование.

Эволюция схемы

Эволюция схем позволяет легко обнаружить структурные изменения в нескольких источниках данных, а затем контролировать применение этих изменений к задаче. Эволюцию схемы можно использовать для обнаружения изменений DDL, которые были внесены в исходную схему данных. Также можно применить некоторые изменения автоматически.

Примечание к информацииЭволюция схем недоступна для задач, определенных с использованием коннекторов Lite для приложений SaaS или при использовании подписки Qlik Talend Cloud Starter. Эти параметры частично доступны для задач, определенных с использованием коннекторов приложений SaaS, предоставляемых в режиме предварительного просмотра.

Для каждого типа изменения можно выбрать способ обработки изменений в разделе Эволюции схемы в настройках задачи. Можно применить изменение, проигнорировать его, приостановить работу таблицы или остановить обработку задачи.

Можно задать, какое действие будет использоваться для обработки изменений DDL для каждого типа изменений. Некоторые действия доступны не для всех типов изменений.

  • Применить к цели

    Изменения применяются автоматически.

  • Игнорировать

    Изменения игнорируются.

  • Приостановить таблицу

    Таблица приостанавливается. Для таблицы будет отображаться ошибка в разделе Мониторинг.

  • Остановить задачу

    Обработка задачи останавливается. Это удобно, если требуется обрабатывать все изменения схемы вручную. Это также остановит составление графика, то есть запланированные запуски не будут выполняться.

Поддерживаются следующие изменения:

  • Добавить столбец

  • Переименовать столбец

  • Изменить тип данных столбца

  • Создать таблицу, соответствующую шаблону выбора

    Если вы использовали Правило выбора для добавления наборов данных, соответствующих шаблону, новые таблицы, соответствующие шаблону, будут обнаружены и добавлены.

Для получения дополнительной информации о настройках задачи см. Эволюция схемы

Вы также можете получать уведомления об изменениях, которые обрабатываются с помощью эволюции схемы. Для получения дополнительной информации см. Настройка уведомлений об изменениях в работе.

Ограничения для эволюции схемы

При эволюции схемы действуют следующие ограничения.

  • Эволюция схемы поддерживается только при использовании CDC в качестве метода обновления.

  • Если параметры эволюции схемы изменены, необходимо подготовить задачу заново.

  • Если выполняется переименование таблиц, эволюция схемы не поддерживается. В этом случае необходимо обновить метаданные перед подготовкой задачи.

  • В процессе разработки задачи необходимо обновить браузер, чтобы получить изменения эволюции схемы. Можно настроить уведомления, чтобы получать оповещения об изменениях.

  • В задачах промежуточного хранения отбрасывание столбцов не поддерживается. Отбрасывание и добавление столбца приведет к ошибке таблицы.

  • В задачах промежуточного хранения операция DROP TABLE (ОТБРОСИТЬ ТАБЛИЦУ) не приведет к отбрасыванию таблицы. Удаление таблицы и последующее добавление таблицы приводит лишь к тому, что старая таблица усекается, а новая таблица не добавляется.

  • Изменение длины столбца возможно не для всех целей в зависимости от поддержки в целевой базе данных.

  • Если имя столбца изменено, явные преобразования, определенные с помощью этого столбца, не будут выполняться, так как они основаны на имени столбца.

  • Ограничения, действующие при обновлении метаданных, также распространяются и на эволюцию схем.

  • Если задача содержит изменения дизайна, которые еще не были подготовлены, и при запуске задачи обнаруживаются изменения эволюции исходной схемы, задача будет остановлена во избежание конфликтов. Подготовьте ожидающие изменения дизайна и запустите задачу снова.

При захвате изменений DDL действуют следующие ограничения:

  • Когда в исходной базе данных происходит быстрая последовательность операций (например, DDL>DML>DDL), Qlik Talend Data Integration может разобрать журнал в неправильном порядке, что приведет к отсутствию данных или непредсказуемому поведению. Чтобы свести к минимуму такую вероятность, лучше всего подождать, пока изменения будут применены к цели, и только после этого выполнять следующую операцию.

    Например, если исходная таблица переименовывается несколько раз подряд в течение короткого интервала времени (и вторая операция переименования возвращает ей исходное имя), во время захвата изменений может появиться сообщение об ошибке, что таблица уже существует в целевой базе данных.

  • Если выполняется переименование таблицы, используемой в задаче, а затем эта задача останавливается, Qlik Talend Data Integration не захватит изменения, внесенные в эту таблицу после возобновления задачи.
  • Переименование исходной таблицы, пока задача остановлена, не поддерживается.

  • Перераспределение столбцов первичного ключа таблицы не поддерживается (и поэтому не записывается в управляющую таблицу DDL History).
  • Если тип данных столбца изменен, а затем выполняется переименование этого же столбца, пока задание остановлено, изменение DDL отражается в управляющей таблице DDL History как Drop Column (Отбросить столбец), а затем Add Column (Добавить столбец), когда задача возобновляется. Обратите внимание, что такое же поведение может наблюдаться и в результате длительной задержки.
  • Операции CREATE TABLE (СОЗДАТЬ ТАБЛИЦУ), выполненные в источнике, пока задача остановлена, будут применены к цели при возобновлении задачи, но не будут записаны как DDL в управляющей таблице DDL History.
  • Операции, связанные с изменением метаданных (такие как ALTER TABLE (ИЗМЕНИТЬ ТАБЛИЦУ), реорганизация, перестройка кластеризованного индекса и т. д.), могут вызывать непредсказуемое поведение, если они были выполнены:

    • Во время полной загрузки

      -ИЛИ-

    • Между меткой времени Начать обработку изменений с и текущим временем (т. е. моментом, когда пользователь нажимает кнопку OK в диалоговом окне Расширенные параметры запуска).

      Пример:

      ЕСЛИ:

      Указанное время Начать обработку изменений с ― 10:00.

      И:

      Столбец с именем Age (Возраст) добавляется в таблицу Employees (Сотрудники) в 10:10 утра.

      И:

      Пользователь нажимает кнопку OK в диалоговом окне Расширенные параметры запуска в 10:15 утра.

      ТО:

      Изменения, которые произошли между 10:00 и 10:10, могут привести к ошибкам CDC.

    Примечание к информации

    В любом из вышеперечисленных случаев необходимо перезагрузить затронутые таблицы, чтобы данные были правильно перенесены (перенесено) в цель.

  • Оператор DDL ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> не реплицирует значение по умолчанию в цель, и новый/измененный столбец получает значение NULL. Обратите внимание, что это может произойти, даже если DDL, добавивший/изменивший столбец, был выполнен в прошлом. Если новый/измененный столбец допускает нулевые значения, конечная точка источника обновляет все строки таблицы, прежде чем регистрировать сам DDL. В результате Qlik Talend Data Integration захватывает изменения, но не обновляет цель. Поскольку новый/измененный столбец получает значение NULL, то если целевая таблица не имеет столбца первичного ключа/уникального индекса, при последующих обновлениях будет появляться сообщение «Затронуто строк: 0».
  • Изменения в столбцах с точными данными TIMESTAMP (МЕТКА ВРЕМЕНИ) и DATE (ДАТА) не будут захватываться.

Обработка изменений, которые не применяются автоматически

Здесь описывается, как обрабатывать изменения, которые не могут быть применены к целевой системе, то есть действие — Игнорировать, Приостановить или Остановить задачу.

Изменение DDL Для реализации изменения Для сохранения текущего состояния
Добавить столбец Обновите метаданные, подготовьте задачу, а затем запустите задачу. Действий не требуется
Создать таблицу Обновите метаданные, подготовьте задачу, а затем запустите задачу. Действий не требуется
Изменить тип данных столбца

Проверьте ограничения. Если ограничения не применяются:

Обновите метаданные, подготовьте задачу, а затем запустите задачу.

Сохранение текущего состояния поддерживается не всегда. Возможные обходные пути:

  • Измените тип данных столбца вручную. Это необходимо повторить в последующих задачах.

  • Создайте новый столбец и направьте старый столбец в новый, затем вручную создайте представление, объединяющее два столбца.

Переименовать таблицу

Проверьте ограничения. Если ограничения не применяются:

Подготовьте задачу, а затем запустите задачу.

Определите явное правило переименования на старое имя.
Переименовать столбец

Проверьте ограничения. Если ограничения не применяются:

Обновите метаданные, подготовьте задачу, а затем запустите задачу.

Обновите метаданные, затем определите явное правило переименования на старое имя.

Удаление столбцов

Если вы удаляете столбец, который используется задачей хранения данных с включенной историей, вам необходимо выполнить следующие шаги, чтобы сохранить историю и избежать возможной потери данных.

  1. Остановите задачу промежуточного хранения данных.

  2. Запустите задачу хранения данных, чтобы убедиться, что все данные промежуточного хранения прочитаны.

  3. Удалите столбец в промежуточном хранении.

  4. Запустите задачу промежуточного хранения данных.

  5. В хранилище добавьте столбец с выражением по умолчанию (Null или значение по умолчанию) или удалите столбец.

Просмотр информации о задаче

Нажмите Сведения на панели меню, чтобы просмотреть информацию о задаче, например:

  • Владелец

  • Пространство

  • Платформа данных

  • Идентификатор проекта

  • Идентификатор выполнения задачи данных

Изменение подключений к источнику или шлюза данных

Если вы изменяете подключение к источнику или шлюз исходных данных, необходимо пересоздать все таблицы.

Обслуживание зоны промежуточного хранения

Автоматическая очистка зоны промежуточного хранения не поддерживается. Это может повлиять на производительность.
Мы рекомендуем выполнять ручную очистку старых данных полной загрузки в зоне промежуточного хранения.

  • Qlik Cloud (через Amazon S3)

    Если есть несколько папок с данными полной загрузки, можно удалить все, кроме самой последней папки. Также можно удалить разделы измененных данных, которые были обработаны.

  • Облачное хранилище данных

    Вы можете удалить записи полной загрузки и изменения таблиц, которые были обработаны.

Рекомендации

  • Если первичный ключ в исходной таблице может быть обновлен, включите опцию DELETE и INSERT при обновлении столбца первичного ключа в Настройка обработки изменений.

Ограничения

  • Репликация данных varchar длиной более 8000 байт или Nvarchar длиной более 4000 байт не поддерживается.

  • Изменение возможности принимать значения null не поддерживается для перемещаемых столбцов, как при прямом изменении, так и при использовании правила преобразования. Однако новые столбцы, созданные в задаче, по умолчанию могут принимать значения null.

  • Исходные столбцы типа CLOB и BLOB по умолчанию будут установлены как допускающие значения null, даже если в источнике они отмечены как не допускающие значения null. Вы можете изменить их на не допускающие значения null, но тогда вам нужно добавить выражение для добавления значения, отличного от null, на случай, если оно поступит как null из источника. Это может произойти с удаленными записями.

В отношении преобразований действуют следующие ограничения:

  • Преобразования не поддерживаются для столбцов на языках с письмом справа налево.
  • Невозможно выполнять преобразования в столбцах, в имени которых есть специальные символы (например, #, \, /, -).

  • Единственное поддерживаемое преобразование для типов данных LOB/CLOB ― это отбрасывание столбца в целевой таблице.
  • Не поддерживается использование преобразования с целью переименования столбца и последующего добавления нового столбца с тем же именем.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице или с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом!