Настройки промежуточного хранения в озере данных

Можно настроить параметры задачи промежуточного хранения данных в озере.

• Откройте задачу промежуточного хранения и щелкните Параметры на панели инструментов.

Откроется диалоговое окно Параметры: <Имя_задачи>. Доступные параметры описаны ниже.

Общие

Метод обновления

Задача промежуточного хранения всегда начинается с полной загрузки. После завершения полной загрузки можно поддерживать актуальность данных на промежуточном хранении одним из следующих способов.

Примечание к информацииПосле завершения подготовки задачи данных промежуточного хранения способ обновления изменить невозможно.

• Захват изменений данных (CDC)

  Актуальность данных промежуточного хранения поддерживается с использованием технологии CDC (Change Data Capture, захват изменений данных). Не все источники данных поддерживают CDC. CDC не обрабатывает операции DDL, такие как переименование столбцов или изменение метаданных.

  Если данные также содержат виды или таблицы, которые не поддерживают CDC, будет создано два конвейера данных. Один конвейер данных со всеми таблицами, поддерживающими CDC, и второй конвейер с остальными таблицами и видами, которые используют режим Перезагрузка в качестве метода обновления.

• Перезагрузить

  Все данные на промежуточном хранении перезагружаются из источника. Это полезно, если источник не поддерживает CDC, но может использоваться в качестве поддерживаемого источника данных.

  Можно запланировать периодическое выполнение перезагрузок.

  Примечание к информацииЭтот параметр недоступен при использовании коннекторов для приложений SaaS, предоставляемых в режиме предварительного просмотра. Коннекторы Preview приложений SaaS обозначены кнопкой , как в диалоговом окне Создание подключения, так и в интерактивной справке.

Папка для использования

Выберите папку, которая будет использоваться при промежуточном хранении данных в промежуточной области.

• Папка по умолчанию

  Создается папка с именем, заданным по умолчанию: <имя проекта>/<имя задачи данных>.

• Корневая папка

  Данные сохраняются в корневой папке хранилища.

• Папка

  Укажите имя используемой папки.

Загрузка данных

• Максимальный размер файлов (МБ)

  Максимальный размер, по достижении которого файл закрывается. Для загрузки файлов меньшего размера может требоваться меньше времени (в зависимости от сети), благодаря чему повышается быстродействие при использовании вместе с параметром «Параллельное выполнение». Однако, как правило, не рекомендуется загромождать базу данных маленькими файлами.

  Примечание к информацииЭта настройка применима ко всем платформам данных, кроме Qlik Cloud.

• Использовать сжатие

  Если этот параметр выбран, файлы CSV будут сжаты (с помощью gzip) перед загрузкой в Google BigQuery.

  Примечание к информации

  • Эта настройка применима только к Google BigQuery.
  • Требуется Шлюз движения данных 2023.5.16 или более поздней версии.

Метаданные

Столбцы LOB

• Включить столбцы LOB и ограничить размер столбца до (КБ):

  Можно включить столбцы LOB в задачу и задать максимальный размер LOB. Объекты LOB, превышающие максимальный размер, будут усечены.

  Примечание к информацииПри использовании Azure Synapse Analytics в качестве целевой платформы максимальный размер LOB не может превышать 7 МБ.

Управляющие таблицы

Выберите, какие из следующих управляющих таблиц необходимо создать на целевой платформе:

• Статус промежуточного хранения: предоставляет сведения о текущей задаче промежуточного хранения, включая статус задачи, объем памяти, потребляемой задачей, количество изменений, еще не примененных к платформе данных, и позицию в исходной конечной точке, из которой Шлюз движения данных в настоящее время выполняет чтение.
• Приостановленные таблицы: предоставляет список приостановленных таблиц и причину их приостановки.
• История промежуточного хранения: предоставляет информацию об истории задачи, включая количество и объем записей, обработанных во время задачи промежуточного хранения, задержку в конце задачи CDC и многое другое.

• История DDL: содержит историю всех поддерживаемых изменений DDL, произошедших во время выполнения задачи.

  Таблица «История DDL» поддерживается только для следующих целевых платформ:

  • Databricks

  • Microsoft Fabric
  • Amazon Redshift
  • Если вы используете Шлюз движения данных, следующие целевые объекты требуют версию 2024.11.14 или более позднюю:
    • Amazon S3
    • Google Cloud Storage
    • Snowflake
  • Kafka - Если используется Шлюз движения данных: требуется версия 2025.5.42 или выше.
  • Если вы используете Шлюз движения данных, следующие целевые объекты требуют версию 2025.11.1 или более позднюю:
    • Google BigQuery
    • Google Cloud Alloy DB для PostgreSQL (через коннектор PostgreSQL)
    • Google Cloud SQL для PostgreSQL (через коннектор PostgreSQL)
    • База данных Microsoft Azure для PostgreSQL (через коннектор PostgreSQL)
    • PostgreSQL

Подробное описание каждой из управляющих таблиц см. в разделе Управляющие таблицы

Полная загрузка

Настройка производительности

• Максимальное количество таблиц для параллельной загрузки: введите максимальное количество таблиц для одновременной загрузки в целевую платформу. Значение по умолчанию — 5.

• Тайм-аут согласованности транзакций (в секундах): введите количество секунд ожидания закрытия открытых транзакций перед началом операции полной загрузки. Значение по умолчанию — 600 (10 минут). Полная загрузка начнется по истечении времени ожидания, даже если остались открытые транзакции.

  Примечание к информацииДля репликации транзакций, которые были открыты при запуске полной загрузки, но были зафиксированы только после истечения времени ожидания, необходимо перезагрузить целевые таблицы.
• Частота фиксации во время полной загрузки: максимальное количество событий, которые могут быть переданы вместе. Значение по умолчанию — 10000.

После завершения полной загрузки

Создать первичный ключ или уникальный индекс: выберите этот параметр, если необходимо отложить создание первичного ключа или уникального индекса на платформе данных до завершения полной загрузки.

Для начальной загрузки

При перемещении данных из источника приложений SaaS можно настроить порядок выполнения начальной полной загрузки.

Обработка ошибок

Ошибки данных

В случае ошибок усечения данных: выберите, что должно произойти в случае усечения одной или нескольких конкретных записей. Можно выбрать из списка одно из следующих действий:

• Игнорировать: задача продолжается, ошибка игнорируется.
• Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
• Остановить задачу: задача останавливается, требуется вмешательство вручную.

В случае других ошибок данных: выберите, что должно произойти в случае ошибки в одной или нескольких конкретных записях. Можно выбрать из списка одно из следующих действий:

• Игнорировать: задача продолжается, ошибка игнорируется.
• Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
• Остановить задачу: задача останавливается, требуется вмешательство вручную.

Эскалировать обработку при достижении количества других ошибок данных (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок данных, не связанных с усечением, (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.

Действие при эскалации: выберите, что должно произойти в случае эскалации обработки ошибок. Обратите внимание, что доступные действия зависят от действия, выбранного в раскрывающемся списке Для других ошибок данных, описанном выше.

• Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не помещаются на промежуточное хранение (landed).

• Остановить задачу: задача останавливается, требуется вмешательство вручную.

Ошибки таблиц

Количество повторных попыток до возврата ошибки таблицы

Эта опция позволяет контролировать, когда будет активирована политика обработки ошибок таблицы. По умолчанию, после обнаружения ошибки таблицы, таблица будет приостановлена или задача будет остановлена (в соответствии с выбранным действием) после трех повторных попыток. Иногда ошибка таблицы будет возникать из-за планового обслуживания приложения SaaS. В этих случаях количества повторных попыток по умолчанию может быть недостаточно для завершения обслуживания до активации политики обработки ошибок таблицы. Это также зависит от интервала планирования задачи, поскольку повторная попытка будет выполняться каждый раз, когда задача запускается. Так, например, если вы запланируете выполнение задачи каждый час, и приложение SaaS будет отключено для обслуживания как только задача начнет выполняться, три повторные попытки по умолчанию позволят приложению SaaS оставаться в автономном режиме до трех часов без активации политики обработки ошибок таблицы. Более длительное окно обслуживания потребует от вас увеличения количества повторных попыток (или изменения расписания), чтобы предотвратить активацию политики обработки ошибок таблицы.

Подводя итог, если вы знаете, что ваше приложение SaaS проходит периодическое обслуживание, лучшей практикой является увеличение количества повторных попыток в соответствии с расписанием, чтобы обслуживание могло быть завершено без активации политики обработки ошибок таблицы.

При возникновении ошибки таблицы: Выберите из списка одно из следующих действий:

• Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются
• Остановить задачу: задача останавливается, требуется вмешательство вручную.

Эскалировать обработку ошибок при достижении количества ошибок таблиц (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок таблиц (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.

Действие эскалации: для ошибок таблиц задается политика эскалации Остановить задачу , ее нельзя изменить.

Ошибки среды

• Максимальное количество повторных попыток: установите этот флажок, а затем укажите максимальное количество повторных попыток выполнить задачу в случае возникновения исправимых ошибок среды. После того как будет предпринято указанное количество повторных попыток выполнения, задача останавливается, что требует вмешательства вручную.

  Чтобы никогда не предпринимать повторных попыток, снимите флажок или задайте значение «0».

  Чтобы предпринимать неограниченное количество повторных попыток, задайте значение «-1»

  • Интервал между повторными попытками (секунды): используйте счетчик для выбора или ввода количества секунд ожидания перед повторной попыткой выполнения задачи.

    Допустимые значения: 1-2000.

• Увеличивать интервал повтора при длительных перерывах в работе: установите этот флажок, чтобы увеличить время перед повтором при длительных перерывах в работе. Когда этот параметр включен, удваивается интервал ожидания перед каждой следующей попыткой повтора, пока не будет достигнуто значение Максимальный интервал повтора (и продолжает повторять попытки через указанный максимальный интервал).
  • Максимальный интервал повтора (секунды): используйте счетчик для выбора или ввода количества секунд ожидания между повторными попытками выполнения задачи, когда установлен флажок Увеличивать интервал повтора при длительных перерывах в работе. Допустимые значения: 1-2000.

Настройка обработки изменений

Настройка выгрузки транзакций

Выгрузить выполняемые транзакции на диск в следующих случаях:

Данные транзакции обычно сохраняются в памяти до их полной фиксации в источнике или цели. Однако транзакции, размер которых превышает выделенную память или которые не фиксируются в течение заданного периода времени, выгружаются на диск.

• Общий объем памяти для всех транзакций превышает (МБ): максимальный размер, который могут занимать все транзакции в памяти и по достижении которого они выгружаются на диск. По умолчанию установлено значение 1024.
• Длительность транзакции превышает (секунды): максимальное время, в течение которого каждая транзакция может оставаться в памяти, по истечении которого она выгружается на диск. Продолжительность отсчитывается от времени начала захвата транзакции в Qlik Talend Data Integration. По умолчанию установлено значение 60.

Настройка пакетов

Некоторые настройки на этой вкладке

Настройки, применимые ко всем целевым платформам, кроме Qlik Cloud:

• Применять пакетные изменения с интервалами:

• Более: минимальное время ожидания между каждым применением пакетных изменений. Значение по умолчанию — 1.

  Увеличение значения Более снижает частоту применения изменений к целевой платформе, одновременно увеличивая размер пакетов. Это может повысить производительность при применении изменений к целевым базам данных, оптимизированным для обработки больших пакетов.

• Менее: максимальное время ожидания между каждым применением пакетных изменений (до объявления тайм-аута). Другими словами, максимальная допустимая задержка. Значение по умолчанию — 30. Это значение определяет максимальное время ожидания перед применением изменений после достижения значения Более.

• Принудительно применить пакет, если объем памяти для обработки превышает (МБ): максимальный объем памяти, используемый для предварительной обработки. Значение по умолчанию — 500 МБ.

  Для получения максимального размера пакета установите это значение на наибольший объем памяти, который можно выделить для задачи данных. Это может повысить производительность при применении изменений к целевым базам данных, оптимизированным для обработки больших пакетов.

• Применять пакетные изменения к нескольким таблицам одновременно: выбор этого параметра должен повысить производительность при применении изменений из нескольких исходных таблиц.

  • Максимальное количество таблиц: максимальное количество таблиц для одновременного применения пакетных изменений. Значение по умолчанию — пять.

  Примечание к информацииЭтот параметр не поддерживается при использовании Google BigQuery в качестве платформы данных.

• Ограничить количество изменений, применяемых в одном операторе обработки изменений, до: выберите этот параметр, чтобы ограничить количество изменений, применяемых в одном операторе обработки изменений. Значение по умолчанию — 10 000.

  Примечание к информацииЭтот параметр поддерживается только при использовании Google BigQuery в качестве платформы данных.

Настройки, применимые только к Qlik Cloud:

• Минимальное количество изменений для каждой транзакции: минимальное количество изменений, которое должна содержать каждая транзакция. Значение по умолчанию — 1000.

  Примечание к информации

  Изменения будут применены к цели, когда количество изменений больше или равно значению параметра Минимальное количество изменений для каждой транзакции ИЛИ когда наступает значение Максимальное время для сбора транзакций в пакет до применения (секунды), описанное ниже, — в зависимости от того, что случится раньше. Так как частота применения изменений к цели регулируется этими двумя параметрами, изменения исходных записей могут быть отражены в целевых записях спустя некоторое время.

• Максимальное время для сбора транзакций в пакет до применения (секунды): максимальное время сбора транзакций в пакеты, по истечении которого объявляется тайм-аут. Значение по умолчанию — 1.

Интервал

• Считывать изменения каждые (в минутах)

  Задайте интервал между считываниями изменений из источника в минутах. Допустимый диапазон — от 1 до 1440.

  Примечание к информации

  Этот параметр доступен только в следующих случаях:

  • Используется Шлюз движения данных
  • Выполняется промежуточное хранение данных из источников приложений SaaS
  • Задача определена с методом обновления Change data capture (CDC)

Различные настройки

• Размер кэша для операторов (количество операторов): максимальное количество подготовленных операторов, которые хранятся на сервере для последующего использования (при применении изменений к цели). Значение по умолчанию — 50. Максимальное значение — 200.

• Выполнить операции DELETE и INSERT при обновлении столбца первичного ключа: этот параметр требует, чтобы в исходной базе данных было включено ведение полных дополнительных журналов.

Эволюция схемы

Выберите способ обработки следующих типов изменений DDL в схеме. При изменении настроек эволюции схемы необходимо снова подготовить задачу. В таблице ниже описано, какие действия доступны для поддерживаемых изменений DDL.

Подстановка символов

Можно заменять или удалять исходные символы в целевой базе данных и (или) исходные символы, не поддерживаемые выбранным набором символов.

Подстановка или удаление исходных символов

Используйте таблицу Подставлять или удалять исходные символы, чтобы определить замены для конкретных исходных символов. Это может быть полезно, например, когда представление символа в Юникоде отличается на исходной и целевой платформах. Например, на платформе Linux символ «минус» в наборе символов Shift_JIS представлен как U+2212, а в ОС Windows как U+FF0D.

Замена или удаление исходных символов, не поддерживаемых выбранным набором символов

Используйте таблицу Неподдерживаемые исходные символы по набору символов, чтобы определить один символ подстановки для всех символов, не поддерживаемых выбранным набором символов.

Дополнительные параметры

Эти параметры не раскрываются в пользовательском интерфейсе, так как они применяются только в определенных версиях или средах. Поэтому не следует устанавливать их, если на это нет соответствующих указаний службы поддержки Qlik или в документации по продукту.

Чтобы задать параметр, просто скопируйте его в поле Добавить имя признака и нажмите кнопку Добавить. Затем задайте значение или включите параметр в соответствии с полученными инструкциями.

Параллельная загрузка сегментов набора данных

Во время полной загрузки можно ускорить загрузку больших наборов данных, разделив набор данных на сегменты, которые будут загружаться параллельно. Таблицы можно разделить по диапазонам данных, всем разделам, всем подразделам или определенным разделам.

Для получения дополнительной информации см. раздел Параллельная выгрузка в промежуточное хранение сегментов набора данных.

Планирование задач

В следующих случаях использования необходимо определить интервал планирования для поддержания целевых данных в актуальном состоянии:

• Доступ к источнику данных без Шлюз движения данных
• Использование коннектора приложения SaaS, который не поддерживает настройку Считывать изменения каждые

Расписание определяет, как часто целевые наборы данных будут обновляться изменениями из исходных наборов данных. В то время как расписание определяет частоту обновления, тип набора данных определяет метод обновления. Если исходные наборы данных поддерживают CDC (Change data capture), только изменения исходных данных будут реплицироваться и применяться к соответствующим целевым таблицам. Если исходные наборы данных не поддерживают CDC (например, представления), изменения будут применяться путем перезагрузки всех исходных данных в соответствующие целевые таблицы. Если некоторые исходные наборы данных поддерживают CDC, а некоторые нет, будут созданы две отдельные подзадачи: одна для перезагрузки наборов данных, не поддерживающих CDC, и другая для сбора изменений в наборах данных, поддерживающих CDC. В этом случае для обеспечения согласованности данных настоятельно рекомендуется не использовать один и тот же интервал планирования для обеих задач (если в будущем будет принято решение изменить частоту обновления).

Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.

Чтобы изменить расписание:

1. Откройте свой проект данных и выполните одно из следующих действий:

   • В представлении задач нажмите на задаче данных и выберите Планирование.
   • В представлении конвейера нажмите на задаче данных и выберите Планирование.
   • Откройте задачу промежуточного хранения и нажмите кнопку Планирование на панели инструментов.
2. Измените настройки расписания по мере необходимости и нажмите ОК.

Выполнение пропущенного запуска для задачи на основе Шлюз движения данных

Иногда проблемы с сетью могут привести к потере подключения к Шлюз движения данных. Если подключение к Шлюз движения данных не будет восстановлено до следующего запланированного запуска, задача данных не будет выполнена в запланированное время. В таких случаях можно выбрать, нужно ли выполнять задачу сразу после восстановления подключения.

Настройки по умолчанию для всех Шлюз движения данных определены в центре активности Администрирование. Эти настройки можно переопределить для отдельных задач, как описано ниже.

Для этого выполните следующие действия.

1. Откройте свой проект и выполните одно из следующих действий:

   • В представлении задач нажмите на задаче данных и выберите Планирование.

   • В представлении конвейера нажмите на задаче данных и выберите Планирование.

   • Откройте задачу данных и нажмите кнопку Планирование на панели инструментов.

   Откроется диалоговое окно Планирование — <задача>.

2. Включите параметр Использовать пользовательские настройки для этой задачи.

3. В нижней части диалогового окна выберите один из следующих параметров Запускать пропущенные запланированные задачи.

   • Как можно скорее, а затем по расписанию, если важно запустить задачу до следующего запланированного экземпляра

   • По расписанию, чтобы запустить задачу в следующий запланированный экземпляр

4. Сохраните настройки.

См. также: Выполнение задачи, не выполненной по графику.