Параметры промежуточного хранения

Можно настроить параметры задачи промежуточного хранения.

• Откройте задачу промежуточного хранения и щелкните Параметры на панели инструментов.

Откроется диалоговое окно Параметры: <Имя_задачи>. Доступные параметры описаны ниже.

Общие

• База данных

  Целевая база данных.

  Примечание к информацииЭтот вариант недоступен при помещении данных на промежуточное хранение в Qlik Cloud (через Amazon S3).

• Схема задачи

  Можно изменить имя схемы задачи промежуточного хранения данных. Значение по умолчанию: промежуточное хранение.

  Примечание к информацииЭтот вариант недоступен при помещении данных на промежуточное хранение в Qlik Cloud (через Amazon S3).

• Написание имени схемы в верхнем или нижнем регистре по умолчанию

  Можно настроить использование заглавных букв по умолчанию для всех имен схем. Если база данных настроена на принудительное использование заглавных букв, этот параметр будет игнорироваться.

• Префикс для всех таблиц и видов

  Можно задать префикс для всех таблиц и видов, создаваемых с помощью этой задачи.

  Примечание к информацииЭтот вариант недоступен при помещении данных на промежуточное хранение в Qlik Cloud (через Amazon S3).
  Примечание к информацииНеобходимо использовать уникальный префикс, когда требуется использовать схему базы данных в нескольких задачах данных.

• Метод обновления

  Задача промежуточного хранения всегда начинается с полной загрузки. После завершения полной загрузки можно поддерживать актуальность данных на промежуточном хранении одним из следующих способов.

  Примечание к информацииПосле завершения подготовки задачи данных промежуточного хранения способ обновления изменить невозможно.

  • Захват изменений данных (CDC)

    Актуальность данных промежуточного хранения поддерживается с использованием технологии CDC (Change Data Capture, захват изменений данных). Не все источники данных поддерживают CDC. CDC не обрабатывает операции DDL, такие как переименование столбцов или изменение метаданных.

    Если данные также содержат виды или таблицы, которые не поддерживают CDC, будет создано два конвейера данных. Один конвейер данных со всеми таблицами, поддерживающими CDC, и второй конвейер с остальными таблицами и видами, которые используют режим Перезагрузка и сравнение в качестве метода обновления.

  • Перезагрузка и сравнение

    Все данные на промежуточном хранении перезагружаются из источника. Это полезно, если источник не поддерживает CDC, но может использоваться в качестве поддерживаемого источника данных.

    Можно запланировать периодическое выполнение перезагрузок.

• Метод загрузки

  При репликации в объект Snowflake можно выбрать один из следующих методов загрузки:

  • Массовая загрузка (по умолчанию)

    Если выбрана Массовая загрузка, параметры загрузки можно изменить в во вкладке Загрузка данных.

  • Snowpipe Streaming

    Примечание к информации

    Метод Snowpipe Streaming доступен, если выполнены следующие условия:

    • Используется метод обновления Захват данных изменений (CDC).
    • В коннекторе Snowflake в качестве Механизма аутентификации используется Пара ключей.
    • Если используется Data Movement gateway: требуется версия 2024.11.45 или выше.

    Прежде чем выбрать метод Snowpipe Streaming, ознакомьтесь с ограничениями и условиями использования этого метода. Если выбран метод Snowpipe Streaming, при выборе метода обновления Перезагрузка и сравнение будет автоматически выбран метод загрузки Массовая загрузка.

  Основные причины, почему следует выбрать метод загрузки Snowpipe Streaming вместо Массовой загрузки: 

  • Менее затратный метод: так как хранилище Snowflake не используется, операционные расходы должны быть значительно ниже (но не всегда, так как расходы также зависят от конкретного сценария использования).

  • Меньше задержка: данные передаются напрямую в целевые таблицы (нет промежуточного хранения), поэтому репликация из источника данных в целевую систему должна происходить быстрее.

  Примечание к подсказкеПри использовании Snowpipe Streaming первичная полная загрузка может выполняться значительно медленнее, чем с методом Массовая загрузка. Для оптимизации производительности загрузки, в частности при загрузке больших наборов данных, рекомендуется использовать Snowpipe Streaming вместе с функцией параллельной загрузки.

• Папка для использования в промежуточной области

  Для платформ данных, которым требуется промежуточная область (например, Databricks и Azure Synapse Analytics), можно выбрать, какая папка будет использоваться для промежуточного хранения данных.

  • Папка по умолчанию

    Создается папка с именем, заданным по умолчанию: <имя проекта>/<имя задачи данных>.

  • Корневая папка

    Данные сохраняются в корневой папке хранилища.

    Примечание к информацииПараметр доступен, только если данные помещаются на промежуточное хранение в Qlik Cloud (через Amazon S3).

  • Папка

    Укажите имя используемой папки.

• Интервал обработки изменений

  Можно задать интервал обработки изменений, полученных из источника.

  Примечание к информацииПараметр доступен, только если данные помещаются на промежуточное хранение в Qlik Cloud (через Amazon S3).

• Прокси-сервер при использовании шлюза для перемещения данных

  Примечание к информацииЭтот вариант доступен только при использовании Data Movement Gateway для доступа к целям.

  Можно выбрать использование прокси-сервера при подключении шлюза Data Movement к облачному хранилищу данных и хранилищу.

  Для получения дополнительной информации о настройке шлюза Data Movement для использования прокси-сервера см. раздел Настройка клиента Qlik Cloud и прокси-сервера.

  • Использовать прокси-сервер для подключения к облачному хранилищу данных

    Примечание к информацииОпция доступна при использовании Snowflake, Google BigQuery и Databricks.

  • Использовать прокси-сервер для подключения к хранилищу

    Примечание к информацииОпция доступна при использовании Azure Synapse Analytics, Amazon Redshift и Databricks.

Загрузка данных

Некоторые настройки в этой вкладке относятся только к определенным целевым платформам.

Актуально для всех платформ обработки данных, кроме Qlik Cloud и Snowflake

Максимальный размер файла (МБ)

Максимальный размер, по достижении которого файл закрывается. Для загрузки файлов меньшего размера может требоваться меньше времени (в зависимости от сети), благодаря чему повышается быстродействие при использовании вместе с параметром «Параллельное выполнение». Однако, как правило, не рекомендуется загромождать базу данных маленькими файлами.

Применимо только для Google BigQuery

Использовать сжатие

Когда установлен этот флажок, файлы CSV будут сжиматься (в архив gzip) перед загрузкой в Google BigQuery.

Актуально только для Snowflake

На вкладке Общие можно выбрать один из способов загрузки данных в Snowflake: Массовая загрузка или Snowpipe Streaming. Если выбрано Snowpipe Streaming, вкладка Загрузка данных не отображается. В режиме Массовая загрузка доступны следующие настройки:

• Максимальный размер файла (МБ): Актуально для первичной полной загрузки и CDC. Разрешенный максимальный размер файла до загрузки в целевой объект. В случае проблем с производительностью можно изменить этот параметр.

• Количество загружаемых файлов в пакете: Актуально только для первичной полной загрузки. Количество загружаемых файлов в одном пакете. В случае проблем с производительностью можно изменить этот параметр.

Описание методов загрузки Массовая загрузка и Snowpipe Streaming приводится в разделе Общие.

Метаданные

Столбцы LOB

• Включить столбцы LOB и ограничить размер столбцов до (КБ):

  По выбору можно включить столбцы LOB и задать максимальный размер LOB. Большие объекты, чей размер больше максимального, обрезаются.

  Примечание к информацииЕсли в качестве целевого объекта используется Azure Synapse Analytics, максимальный размер LOB не может превышать 7 МБ.

Управляющие таблицы

Выберите, какие из следующих управляющих таблиц требуется создать в целевой платформе:

• Состояние промежуточного хранения: Предоставляет сведения о текущей задаче промежуточного хранения, включая состояние задачи, объем памяти, потребляемой задачей, количество изменений, пока не примененных к платформе данных, и позиция в исходной конечной точке, из которой Data Movement gateway в данный момент считывает данные.п
• Приостановленные таблицы: предоставляет список приостановленных таблиц с указанием причин их приостановки.
• История промежуточного хранения: предоставляет информацию об истории задач, включая количество и объем записей, обработанных во время задачи промежуточного хранения, задержка в конце задачи CDC и многое другое.

• История DDL: содержит историю всех поддерживаемых изменений DDL, которые имели место во время выполнения задачи.

  Таблица «История DDL» поддерживается только для следующих целевых платформ:

  Примечание к информацииДля Amazon Redshift, Amazon S3, Google Cloud Storage и Snowflake требуется Data Movement gateway 2024.11.14 или более поздняя версия.

  • Databricks

  • Microsoft Fabric
  • Amazon Redshift
  • Amazon S3
  • Google Cloud Storage
  • Snowflake

Для ознакомления с подробным описанием каждой управляющей таблицы см. раздел Управляющие таблицы

Полная загрузка

Настройка производительности

• Максимальное количество таблиц для параллельной загрузки: укажите максимальное количество таблиц, которое можно загружать в таблицу за один раз. Значение по умолчанию — 5.

• Тайм-аут непротиворечивости транзакций (в секундах): введите количество секунд, в течение которого следует ожидать закрытия открытых транзакций, прежде чем начинать операцию полной загрузки. Значение по умолчанию — 600 (10 минут). Полная загрузка начнется по истечении времени тайм-аута, даже если остались открытые транзакции.

  Примечание к информацииЧтобы реплицировать транзакции, открытые на момент начала полной загрузки, но зафиксированные только после истечения тайм-аута, необходимо перезагрузить целевые таблицы.
• Скорость фиксации при полной загрузке: максимальное количество событий, передаваемых вместе. Значение по умолчанию — 10 000.

После завершения полной загрузки

Создать первичный ключ или уникальный индекс: установите этот параметр, если требуется отложить создание первичного ключа или уникального индекса на платформе данных до окончания полной загрузки.

Для начальной загрузки

При перемещении данных из источника приложений SaaS можно настроить порядок выполнения начальной полной загрузки.

Обработка ошибок

Ошибки данных

В случае ошибок усечения данных: выберите, что должно произойти в случае усечения одной или нескольких конкретных записей. Можно выбрать из списка одно из следующих действий:

• Игнорировать: задача продолжается, ошибка игнорируется.
• Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
• Остановить задачу: задача останавливается, требуется вмешательство вручную.

В случае других ошибок данных: выберите, что должно произойти в случае ошибки в одной или нескольких конкретных записях. Можно выбрать из списка одно из следующих действий:

• Игнорировать: задача продолжается, ошибка игнорируется.
• Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
• Остановить задачу: задача останавливается, требуется вмешательство вручную.

Эскалировать обработку при достижении количества других ошибок данных (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок данных, не связанных с усечением, (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.

Действие при эскалации: выберите, что должно произойти в случае эскалации обработки ошибок. Обратите внимание, что доступные действия зависят от действия, выбранного в раскрывающемся списке Для других ошибок данных, описанном выше.

• Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не помещаются на промежуточное хранение (landed).

• Остановить задачу: задача останавливается, требуется вмешательство вручную.

Ошибки таблицы

Количество повторных попыток до возврата ошибки таблицы

Эта опция позволяет контролировать, когда будет активирована политика обработки ошибок таблицы. По умолчанию, после обнаружения ошибки таблицы, таблица будет приостановлена или задача будет остановлена (в соответствии с выбранным действием) после трех повторных попыток. Иногда ошибка таблицы будет возникать из-за планового обслуживания приложения SaaS. В этих случаях количества повторных попыток по умолчанию может быть недостаточно для завершения обслуживания до активации политики обработки ошибок таблицы. Это также зависит от интервала планирования задачи, поскольку повторная попытка будет выполняться каждый раз, когда задача запускается. Так, например, если вы запланируете выполнение задачи каждый час, и приложение SaaS будет отключено для обслуживания как только задача начнет выполняться, три повторные попытки по умолчанию позволят приложению SaaS оставаться в автономном режиме до трех часов без активации политики обработки ошибок таблицы. Более длительное окно обслуживания потребует от вас увеличения количества повторных попыток (или изменения расписания), чтобы предотвратить активацию политики обработки ошибок таблицы.

Подводя итог, если вы знаете, что ваше приложение SaaS проходит периодическое обслуживание, лучшей практикой является увеличение количества повторных попыток в соответствии с расписанием, чтобы обслуживание могло быть завершено без активации политики обработки ошибок таблицы.

При возникновении ошибки таблицы: Выберите из списка одно из следующих действий:

• Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются
• Остановить задачу: задача останавливается, требуется вмешательство вручную.

Эскалировать обработку ошибок при достижении количества ошибок таблиц (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок таблиц (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.

Действие эскалации: для ошибок таблиц задается политика эскалации Остановить задачу , ее нельзя изменить.

Среда

• Максимальное количество повторных попыток: установите этот флажок, а затем укажите максимальное количество повторных попыток выполнить задачу в случае возникновения исправимых ошибок среды. После того как будет предпринято указанное количество повторных попыток выполнения, задача останавливается, что требует вмешательства вручную.

  Чтобы никогда не предпринимать повторных попыток, снимите флажок или задайте значение «0».

  Чтобы предпринимать неограниченное количество повторных попыток, задайте значение «-1»

  • Интервал между повторными попытками (секунды): используйте счетчик для выбора или ввода количества секунд ожидания перед повторной попыткой выполнения задачи.

    Допустимые значения: 1-2000.

• Увеличивать интервал повтора при длительных перерывах в работе: установите этот флажок, чтобы увеличить время перед повтором при длительных перерывах в работе. Когда этот параметр включен, удваивается интервал ожидания перед каждой следующей попыткой повтора, пока не будет достигнуто значение Максимальный интервал повтора (и продолжает повторять попытки через указанный максимальный интервал).
  • Максимальный интервал повтора (секунды): используйте счетчик для выбора или ввода количества секунд ожидания между повторными попытками выполнения задачи, когда установлен флажок Увеличивать интервал повтора при длительных перерывах в работе. Допустимые значения: 1-2000.

Настройка обработки изменений

Настройка выгрузки транзакций

• Выгрузить выполняемые транзакции на диск в следующих случаях:

  Данные транзакции обычно сохраняются в памяти до их полной фиксации в источнике или цели. Однако транзакции, размер которых превышает выделенную память или которые не фиксируются в течение заданного периода времени, выгружаются на диск.

  • Общий объем памяти для всех транзакций превышает (МБ): максимальный размер, который могут занимать все транзакции в памяти и по достижении которого они выгружаются на диск. По умолчанию установлено значение 1024.
  • Длительность транзакции превышает (секунды): максимальное время, в течение которого каждая транзакция может оставаться в памяти, по истечении которого она выгружается на диск. Продолжительность отсчитывается от времени начала захвата транзакции в Qlik Talend Data Integration. По умолчанию установлено значение 60.

Настройка пакета

Некоторые из этих настроек нельзя применить ко всем целям или методам загрузки в целевой объект.

Настройки, которые можно применить ко всем целям, кроме Qlik Cloud и Snowflake, если в качестве метода загрузки используется «Snowpipe Streaming».

• Применение пакетных изменений с интервалами:

• Больше: минимальный интервал времени ожидания между применением пакетов изменений. Значение по умолчанию — 1.

  При увеличении значения Больше уменьшается частота, с которой применяются изменения к цели, и увеличивается размер пакетов. Это может улучшить производительность при применении изменений к целевым базам данных, которые оптимизированы для обработки больших пакетов.

• Меньше: максимальный интервал времени ожидания между применением пакетов изменений (после которого объявляется тайм-аут). Другими словами, максимально допустимая задержка. Значение по умолчанию — 30. Это значение определяет максимальный интервал времени ожидания перед применением изменений, после достижения значения Больше.

• Принудительное применение пакета при превышении объема памяти для обработки (МБ): максимальный объем памяти, который может использоваться для предварительной обработки. Значение по умолчанию — 500 МБ.

  Для поддержки максимального размера пакетов задайте самый большой объем памяти, который можно выделить для задачи данных. Это может улучшить производительность при применении изменений к целевым базам данных, которые оптимизированы для обработки больших пакетов.

• Одновременно применять пакетные изменения к нескольким таблицам: установите этот флажок, чтобы улучшить производительность при применении изменений из нескольких исходных таблиц.

  • Максимальное количество таблиц: максимальное количество таблиц для одновременного применения пакетных изменений. Значение по умолчанию ― 5.

  Примечание к информацииЭтот параметр не поддерживается при использовании платформы данных Google BigQuery.

• Ограничьте количество изменений, применяемых в одном операторе обработки изменений: установите этот флажок, чтобы ограничить количество изменений, применяемых в одном операторе обработки изменений. Значение по умолчанию — 10 000.

  Примечание к информацииЭтот параметр поддерживается только при использовании платформы данных Google BigQuery.

Настройки, которые применимы только к Qlik Cloud и Snowflake, если в качестве метода загрузки используется «Snowpipe Streaming».

• Минимальное количество изменений для каждой транзакции: минимальное количество изменений, которое должна содержать каждая транзакция. Значение по умолчанию — 1000.

  Примечание к информации

  Изменения будут применены к цели, когда количество изменений больше или равно значению параметра Минимальное количество изменений для каждой транзакции ИЛИ когда наступает значение Максимальное время для сбора транзакций в пакет до применения (секунды), описанное ниже, — в зависимости от того, что случится раньше. Так как частота применения изменений к цели регулируется этими двумя параметрами, изменения исходных записей могут быть отражены в целевых записях спустя некоторое время.

• Максимальное время для сбора транзакций в пакет до применения (секунды): максимальное время сбора транзакций в пакеты, по истечении которого объявляется тайм-аут. Значение по умолчанию — 1.

Интервал

• Считывание изменений кажд. (минуты)

  Задайте интервал в минутах между сеансами чтения изменений в источнике. Допустимый диапазон от 1 до 1440.

  Примечание к информации

  Этот параметр доступен, только когда:

  • Использование Data Movement gateway
  • Промежуточное хранение данных из источников приложений SaaS
  • Задача определена с использованием метода обновления Захват данных изменений (CDC)

Прочие настройки

• Размер кэша для операторов (количество операторов): максимальное количество подготовленных операторов, которые хранятся на сервере для последующего использования (при применении изменений к цели). Значение по умолчанию — 50. Максимальное значение — 200.

• Выполнить операции DELETE и INSERT при обновлении столбца первичного ключа: этот параметр требует, чтобы в исходной базе данных было включено ведение полных дополнительных журналов.

Эволюция схемы

Выберите, как обрабатывать следующие типы изменений DDL в схеме. Когда изменены параметры эволюции схемы, необходимо подготовить задачу заново. В таблице ниже описано, какие действия доступны для поддерживаемых изменений DDL.

Подстановка символов

Можно заменять или удалять исходные символы в целевой базе данных и (или) исходные символы, не поддерживаемые выбранным набором символов.

Подстановка или удаление исходных символов

Используйте таблицу Подставлять или удалять исходные символы, чтобы определить замены для конкретных исходных символов. Это может быть полезно, например, когда представление символа в Юникоде отличается на исходной и целевой платформах. Например, на платформе Linux символ «минус» в наборе символов Shift_JIS представлен как U+2212, а в ОС Windows как U+FF0D.

Замена или удаление исходных символов, не поддерживаемых выбранным набором символов

Используйте таблицу Неподдерживаемые исходные символы по набору символов, чтобы определить один символ подстановки для всех символов, не поддерживаемых выбранным набором символов.

Дополнительные параметры

Эти параметры не раскрываются в пользовательском интерфейсе, так как они применяются только в определенных версиях или средах. Поэтому не следует устанавливать их, если на это нет соответствующих указаний службы поддержки Qlik или в документации по продукту.

Чтобы задать параметр, просто скопируйте его в поле Добавить имя признака и нажмите кнопку Добавить. Затем задайте значение или включите параметр в соответствии с полученными инструкциями.

Параллельная загрузка сегментов набора данных

В режиме полной загрузки можно ускорить загрузку больших наборов данных, разбив их на сегменты, которые будут загружаться параллельно. Таблицы можно разделить по диапазонам данных, по всем разделам, по всем подразделам или по конкретным разделам.

Для получения дополнительной информации см. Параллельная выгрузка в промежуточное хранение сегментов набора данных.

Планирование задач CDC при работе без Data Movement gateway

Data Movement gateway не поддерживается при использовании подписки Qlik Talend Cloud Starter и является необязательным компонентом в других уровнях подписки. При работе с Data Movement gateway актуальность целевых данных обеспечивается путем настройки интервала в графике. График определяет частоту обновления целевых наборов данных в соответствии с изменениями исходных наборов данных. Тогда как график определяет частоту обновления, тип набора данных определяет метод обновления. Если исходные наборы данных поддерживают CDC (Захват изменений данных), только изменения в исходных данных будут реплицированы в соответствующие целевые таблицы. Если исходные наборы данных не поддерживают CDC (например, «Виды»), изменения будут применены путем перезагрузки всех исходных данных в соответствующие целевые таблицы. Если одни исходные наборы данных поддерживают CDC, а другие нет, будут созданы две подзадачи: одна для перезагрузки наборов данных, которые не поддерживают CDC, а другая для захвата изменений наборов данных, которые поддерживают CDC. В этом случае, чтобы обеспечить согласованность данных, настоятельно рекомендуется не использовать одинаковый интервал планирования для обеих задач (если будет принято решение изменить частоту обновления в будущем).

Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.

Чтобы изменить график, выполните следующие действия.

1. Откройте проект данных, а затем выполните одно из следующих действий:

   • В виде задачи щелкните рядом с задачей данных и выберите Планирование.
   • В виде конвейера щелкните рядом с задачей данных и выберите Планирование.
   • Откройте задачу промежуточного хранения и нажмите кнопку Планирование на панели инструментов.
2. Измените параметры планирования по необходимости, затем нажмите кнопку ОК.