Настройки промежуточного хранения
Вы можете настроить параметры для задачи промежуточного хранения данных.
-
Откройте задачу промежуточного хранения и нажмите Настройки на панели инструментов.
Откроется диалоговое окно Настройки: <Имя-задачи>. Доступные настройки описаны ниже.
Общие
-
База данных
База данных для использования в целевой системе.
Примечание к информацииЭта опция недоступна при промежуточном хранении данных в Qlik Cloud (через Amazon S3). -
Схема задачи
Вы можете изменить имя схемы задачи промежуточного хранения данных. Имя по умолчанию — landing.
Примечание к информацииЭта опция недоступна при промежуточном хранении данных в Qlik Cloud (через Amazon S3). -
Использование заглавных букв в имени схемы по умолчанию
Вы можете задать использование заглавных букв по умолчанию для всех имен схем. Если ваша база данных настроена на принудительное использование заглавных букв, эта опция не будет иметь эффекта.
-
Префикс для всех таблиц и представлений
Вы можете задать префикс для всех таблиц и представлений, созданных с помощью этой задачи.
Примечание к информацииЭта опция недоступна при промежуточном хранении данных в Qlik Cloud (через Amazon S3).Примечание к информацииНеобходимо использовать уникальный префикс, если вы хотите использовать схему базы данных в нескольких задачах данных. -
Метод обновления
Задача промежуточного хранения всегда начинается с полной загрузки. После завершения полной загрузки можно поддерживать актуальность данных на промежуточном хранении одним из следующих способов.
Примечание к информацииПосле завершения подготовки задачи данных промежуточного хранения способ обновления изменить невозможно.-
Захват изменений данных (CDC)
Актуальность данных промежуточного хранения поддерживается с использованием технологии CDC (Change Data Capture, захват изменений данных). Не все источники данных поддерживают CDC. CDC не обрабатывает операции DDL, такие как переименование столбцов или изменение метаданных.
Если данные также содержат виды или таблицы, которые не поддерживают CDC, будет создано два конвейера данных. Один конвейер данных со всеми таблицами, поддерживающими CDC, и второй конвейер с остальными таблицами и видами, которые используют режим Перезагрузка и сравнение в качестве метода обновления.
-
Перезагрузка и сравнение
Все данные на промежуточном хранении перезагружаются из источника. Это полезно, если источник не поддерживает CDC, но может использоваться в качестве поддерживаемого источника данных.
Можно запланировать периодическое выполнение перезагрузок.
-
-
Метод загрузки
При репликации в целевую систему Snowflake можно выбрать один из следующих методов загрузки:
-
Массовая загрузка (по умолчанию)
Если выбрана Массовая загрузка, параметры загрузки можно изменить в во вкладке Загрузка данных.
-
Snowpipe Streaming
Примечание к информацииМетод Snowpipe Streaming доступен, если выполнены следующие условия:
- Используется метод обновления Захват данных изменений (CDC).
- В коннекторе Snowflake в качестве Механизма аутентификации используется Пара ключей.
- Если используется Шлюз движения данных: требуется версия 2024.11.45 или выше.
Прежде чем выбрать метод Snowpipe Streaming, ознакомьтесь с ограничениями и условиями использования этого метода. Если выбран метод Snowpipe Streaming, при выборе метода обновления Перезагрузка и сравнение будет автоматически выбран метод загрузки Массовая загрузка.
Основные причины, почему следует выбрать метод загрузки Snowpipe Streaming вместо Массовой загрузки:
-
Менее затратный метод: так как хранилище Snowflake не используется, операционные расходы должны быть значительно ниже (но не всегда, так как расходы также зависят от конкретного сценария использования).
-
Меньше задержка: данные передаются напрямую в целевые таблицы (нет промежуточного хранения), поэтому репликация из источника данных в целевую систему должна происходить быстрее.
Примечание к подсказкеПри использовании Snowpipe Streaming первичная полная загрузка может выполняться значительно медленнее, чем с методом Массовая загрузка. Для оптимизации производительности загрузки, в частности при загрузке больших наборов данных, рекомендуется использовать Snowpipe Streaming вместе с функцией параллельной загрузки. -
-
Папка для использования в промежуточной области
Для платформ данных, требующих промежуточной области (например, Databricks и Azure Synapse Analytics), можно выбрать папку для использования при промежуточном хранении данных.
-
Папка по умолчанию
Создает папку с именем по умолчанию: <имя проекта>/<имя задачи данных>.
-
Корневая папка
Хранить данные в корневой папке хранилища.
Примечание к информацииЭта опция доступна только при промежуточном хранении данных в Qlik Cloud (через Amazon S3). -
Папка
Укажите имя папки для использования.
-
-
Интервал обработки изменений
Вы можете задать интервал между обработкой изменений из источника.
Примечание к информацииЭта опция доступна только при промежуточном хранении данных в Qlik Cloud (через Amazon S3). -
Прокси-сервер при использовании Data Movement gateway
Примечание к информацииЭта опция доступна только при доступе к целевым системам через Data Movement gateway.Вы можете выбрать использование прокси-сервера, когда шлюз Data Movement подключается к облачному хранилищу данных и области хранения.
Для получения дополнительной информации о настройке шлюза Data Movement для использования прокси-сервера см. Настройка клиента Qlik Cloud и прокси-сервера.
-
Использовать прокси для подключения к облачному хранилищу данных
Примечание к информацииДоступно при использовании Snowflake, Google BigQuery и Databricks. -
Использовать прокси для подключения к хранилищу
Примечание к информацииДоступно при использовании Azure Synapse Analytics, Amazon Redshift и Databricks.
-
Загрузка данных
Некоторые настройки на этой вкладке применимы только к определенным целевым платформам.
Применимо ко всем платформам данных, кроме Qlik Cloud и Snowflake
Максимальный размер файлов (МБ)
Максимальный размер, по достижении которого файл закрывается. Для загрузки файлов меньшего размера может требоваться меньше времени (в зависимости от сети), благодаря чему повышается быстродействие при использовании вместе с параметром «Параллельное выполнение». Однако, как правило, не рекомендуется загромождать базу данных маленькими файлами.
Применимо только для Google BigQuery
Использовать сжатие
Если выбрано, файлы CSV будут сжаты (с использованием gzip) перед загрузкой в Google BigQuery.
Требуется Шлюз движения данных 2023.5.16 или более поздней версии.
Применимо только для Snowflake
На вкладке Общие можно выбрать, загружать ли данные в Snowflake с помощью Массовой загрузки или Потоковой передачи Snowpipe. Если выбрана Потоковая передача Snowpipe, вкладка Загрузка данных не будет отображаться. Если выбрана Массовая загрузка, будут доступны следующие настройки:
-
Максимальный размер файла (МБ): Применимо для начальной полной загрузки (full load) и CDC. Максимальный размер, которого может достичь файл перед загрузкой в целевую систему. Если вы столкнулись с проблемами производительности, попробуйте настроить этот параметр.
-
Количество файлов для загрузки в пакете: Применимо только для начальной полной загрузки (full load). Количество файлов для загрузки в одном пакете. Если вы столкнулись с проблемами производительности, попробуйте настроить этот параметр.
Описание методов загрузки Массовая загрузка и Потоковая передача Snowpipe см. в разделе Общие.
Метаданные
Столбцы LOB
Включить столбцы LOB и ограничить размер столбца до (КБ):
Вы можете выбрать включение столбцов LOB в задачу и задать максимальный размер LOB. LOB, превышающие максимальный размер, будут усечены.
Управляющие таблицы
Выберите, какие из следующих управляющих таблиц вы хотите создать на целевой платформе:
- Статус промежуточного хранения: Предоставляет сведения о текущей задаче промежуточного хранения, включая статус задачи, объем памяти, потребляемой задачей, количество изменений, еще не примененных к платформе данных, и позицию в исходной конечной точке, из которой Шлюз движения данных в настоящее время выполняет чтение.
- Приостановленные таблицы: Предоставляет список приостановленных таблиц и причину их приостановки.
- История промежуточного хранения: Предоставляет информацию об истории задачи, включая количество и объем записей, обработанных во время задачи промежуточного хранения, задержку в конце задачи CDC и многое другое.
-
История DDL: Содержит историю всех поддерживаемых изменений DDL, которые произошли во время выполнения задачи.
Таблица «История DDL» поддерживается только для следующих целевых платформ:
-
Databricks
- Microsoft Fabric
- Amazon Redshift
- Если вы используете Шлюз движения данных, следующие целевые объекты требуют версию 2024.11.14 или более позднюю:
- Amazon S3
- Google Cloud Storage
- Snowflake
- Kafka - Если используется Шлюз движения данных: требуется версия 2025.5.42 или выше.
- Если вы используете Шлюз движения данных, следующие целевые объекты требуют версию 2025.11.1 или более позднюю:
- Google BigQuery
- Google Cloud Alloy DB для PostgreSQL (через коннектор PostgreSQL)
- Google Cloud SQL для PostgreSQL (через коннектор PostgreSQL)
- База данных Microsoft Azure для PostgreSQL (через коннектор PostgreSQL)
- PostgreSQL
-
Подробное описание каждой из управляющих таблиц см. в разделе Управляющие таблицы
Полная загрузка
Настройка производительности
- Максимальное количество таблиц для параллельной загрузки: Введите максимальное количество таблиц для одновременной загрузки в целевую систему. Значение по умолчанию — 5.
-
Тайм-аут согласованности транзакций (в секундах): Введите количество секунд ожидания закрытия открытых транзакций перед началом операции полной загрузки. Значение по умолчанию — 600 (10 минут). Полная загрузка начнется после достижения значения тайм-аута, даже если есть транзакции, которые все еще открыты.
Примечание к информацииЧтобы реплицировать транзакции, которые были открыты при запуске полной загрузки, но были зафиксированы только после достижения значения тайм-аута, необходимо перезагрузить целевые таблицы. - Частота фиксации во время полной загрузки: Максимальное количество событий, которые могут быть переданы вместе. Значение по умолчанию — 10000.
После завершения полной загрузки
Создать первичный ключ или уникальный индекс: Выберите эту опцию, если вы хотите отложить создание первичного ключа или уникального индекса на платформе данных до завершения полной загрузки.
Для начальной загрузки
При перемещении данных из источника приложений SaaS можно настроить порядок выполнения начальной полной загрузки.
| Использовать кэшированные данные |
Этот параметр позволяет использовать кэшированные данные, которые были прочитаны при создании метаданных с установленным флажком Полное сканирование данных. Это уменьшает накладные расходы, связанные с квотами и использованием API, поскольку данные уже считаны из источника. Все изменения, внесенные после начального сканирования данных, можно получить в режиме «Захват изменений данных (CDC)». |
| Загрузить данные из источника |
Этот параметр выполняет новую загрузку из источника данных. Этот параметр полезен, если:
|
Обработка ошибок
Ошибки данных
Обработка ошибок данных поддерживается только при использовании метода обновления Change Data Capture (CDC).
В случае ошибок усечения данных: выберите, что должно произойти в случае усечения одной или нескольких конкретных записей. Можно выбрать из списка одно из следующих действий:
- Игнорировать: задача продолжается, ошибка игнорируется.
- Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
- Остановить задачу: задача останавливается, требуется вмешательство вручную.
В случае других ошибок данных: выберите, что должно произойти в случае ошибки в одной или нескольких конкретных записях. Можно выбрать из списка одно из следующих действий:
- Игнорировать: задача продолжается, ошибка игнорируется.
- Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
- Остановить задачу: задача останавливается, требуется вмешательство вручную.
Эскалировать обработку при достижении количества других ошибок данных (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок данных, не связанных с усечением, (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.
Действие при эскалации: выберите, что должно произойти в случае эскалации обработки ошибок. Обратите внимание, что доступные действия зависят от действия, выбранного в раскрывающемся списке Для других ошибок данных, описанном выше.
-
Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не помещаются на промежуточное хранение (landed).
- Остановить задачу: задача останавливается, требуется вмешательство вручную.
Ошибки таблиц
Количество повторных попыток до возврата ошибки таблицы
Эта опция позволяет контролировать, когда будет активирована политика обработки ошибок таблицы. По умолчанию, после обнаружения ошибки таблицы, таблица будет приостановлена или задача будет остановлена (в соответствии с выбранным действием) после трех повторных попыток. Иногда ошибка таблицы будет возникать из-за планового обслуживания приложения SaaS. В этих случаях количества повторных попыток по умолчанию может быть недостаточно для завершения обслуживания до активации политики обработки ошибок таблицы. Это также зависит от интервала планирования задачи, поскольку повторная попытка будет выполняться каждый раз, когда задача запускается. Так, например, если вы запланируете выполнение задачи каждый час, и приложение SaaS будет отключено для обслуживания как только задача начнет выполняться, три повторные попытки по умолчанию позволят приложению SaaS оставаться в автономном режиме до трех часов без активации политики обработки ошибок таблицы. Более длительное окно обслуживания потребует от вас увеличения количества повторных попыток (или изменения расписания), чтобы предотвратить активацию политики обработки ошибок таблицы.
Подводя итог, если вы знаете, что ваше приложение SaaS проходит периодическое обслуживание, лучшей практикой является увеличение количества повторных попыток в соответствии с расписанием, чтобы обслуживание могло быть завершено без активации политики обработки ошибок таблицы.
-
Эта опция будет отображаться только для задач, настроенных с коннектором приложения SaaS Lite или Standard.
-
Если используется Шлюз движения данных: требуется версия 2024.11.70 или выше.
При возникновении ошибки таблицы: Выберите из списка одно из следующих действий:
- Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются
- Остановить задачу: задача останавливается, требуется вмешательство вручную.
Эскалировать обработку ошибок при достижении количества ошибок таблиц (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок таблиц (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.
Действие эскалации: для ошибок таблиц задается политика эскалации Остановить задачу , ее нельзя изменить.
Среда
-
Максимальное количество повторных попыток: установите этот флажок, а затем укажите максимальное количество повторных попыток выполнить задачу в случае возникновения исправимых ошибок среды. После того как будет предпринято указанное количество повторных попыток выполнения, задача останавливается, что требует вмешательства вручную.
Чтобы никогда не предпринимать повторных попыток, снимите флажок или задайте значение «0».
Чтобы предпринимать неограниченное количество повторных попыток, задайте значение «-1»
-
Интервал между повторными попытками (секунды): используйте счетчик для выбора или ввода количества секунд ожидания перед повторной попыткой выполнения задачи.
Допустимые значения: 1-2000.
-
- Увеличивать интервал повтора при длительных перерывах в работе: установите этот флажок, чтобы увеличить время перед повтором при длительных перерывах в работе. Когда этот параметр включен, удваивается интервал ожидания перед каждой следующей попыткой повтора, пока не будет достигнуто значение Максимальный интервал повтора (и продолжает повторять попытки через указанный максимальный интервал).
- Максимальный интервал повтора (секунды): используйте счетчик для выбора или ввода количества секунд ожидания между повторными попытками выполнения задачи, когда установлен флажок Увеличивать интервал повтора при длительных перерывах в работе. Допустимые значения: 1-2000.
Настройка обработки изменений
Настройка выгрузки транзакций
-
Выгружать выполняемые транзакции на диск, если:
Данные транзакций обычно хранятся в памяти до тех пор, пока они не будут полностью зафиксированы в источнике или целевой системе. Однако транзакции, размер которых превышает выделенную память или которые не зафиксированы в течение указанного лимита времени, будут выгружены на диск.
- Общий объем памяти для всех транзакций превышает (МБ): Максимальный размер, который все транзакции могут занимать в памяти перед выгрузкой на диск. Значение по умолчанию — 1024.
- Продолжительность транзакции превышает (в секундах): Максимальное время, в течение которого каждая транзакция может оставаться в памяти перед выгрузкой на диск. Продолжительность рассчитывается с момента, когда Qlik Talend Data Integration начал захват транзакции. Значение по умолчанию — 60.
Настройка пакетов
Некоторые настройки на этой вкладке могут быть неприменимы ко всем целевым системам или методам загрузки целевых систем.
Настройки, применимые ко всем целевым системам, кроме Qlik Cloud и Snowflake, когда «Метод загрузки» — «Потоковая передача Snowpipe»
- Применять пакетные изменения с интервалами:
-
Более: Минимальное время ожидания между каждым применением пакетных изменений. Значение по умолчанию — 1.
Увеличение значения Более снижает частоту применения изменений к целевой системе, одновременно увеличивая размер пакетов. Это может повысить производительность при применении изменений к целевым базам данных, оптимизированным для обработки больших пакетов.
- Менее: Максимальное время ожидания между каждым применением пакетных изменений (до объявления тайм-аута). Другими словами, максимально допустимая задержка. Значение по умолчанию — 30. Это значение определяет максимальное время ожидания перед применением изменений после достижения значения Более.
-
Принудительно применить пакет, когда память обработки превышает (МБ): Максимальный объем памяти для использования при предварительной обработке. Значение по умолчанию — 500 МБ.
Для максимального размера пакета установите это значение на наибольший объем памяти, который вы можете выделить для задачи данных. Это может повысить производительность при применении изменений к целевым базам данных, оптимизированным для обработки больших пакетов.
-
Применять пакетные изменения к нескольким таблицам одновременно: Выбор этой опции должен повысить производительность при применении изменений из нескольких исходных таблиц.
-
Максимальное количество таблиц: Максимальное количество таблиц для одновременного применения пакетных изменений. Значение по умолчанию — пять.
Примечание к информацииЭта опция не поддерживается при использовании Google BigQuery в качестве платформы данных. -
-
Ограничить количество изменений, применяемых в одном операторе обработки изменений, до: Выберите эту опцию, чтобы ограничить количество изменений, применяемых в одном операторе обработки изменений. Значение по умолчанию — 10 000.
Примечание к информацииЭта опция поддерживается только при использовании Google BigQuery в качестве платформы данных.
Настройки, применимые только к Qlik Cloud и Snowflake, когда «Метод загрузки» — «Потоковая передача Snowpipe»
-
Минимальное количество изменений для каждой транзакции: минимальное количество изменений, которое должна содержать каждая транзакция. Значение по умолчанию — 1000.
Примечание к информацииИзменения будут применены к цели, когда количество изменений больше или равно значению параметра Минимальное количество изменений для каждой транзакции ИЛИ когда наступает значение Максимальное время для сбора транзакций в пакет до применения (секунды), описанное ниже, — в зависимости от того, что случится раньше. Так как частота применения изменений к цели регулируется этими двумя параметрами, изменения исходных записей могут быть отражены в целевых записях спустя некоторое время.
- Максимальное время для сбора транзакций в пакет до применения (секунды): максимальное время сбора транзакций в пакеты, по истечении которого объявляется тайм-аут. Значение по умолчанию — 1.
Интервал
Настройки при использовании коннекторов SAP ODP и SaaS-приложений (Lite)
-
Считывание изменений кажд. (минуты)
Интервал между чтением изменений из источника в минутах. Допустимый диапазон от 1 до 1440.
Примечание к информацииЭтот параметр доступен только в том случае, если задача данных определена с помощью:
- Шлюз движения данных
- Любой из следующих источников:
- SaaS-приложение только через коннекторы Lite
- SAP ODP
- Метод обновления Захват данных изменений (CDC)
Настройки при использовании коннектора SAP OData
Проверить на наличие изменений
-
В соответствии с интервалом извлечения дельты:Если выбран этот параметр, задача данных проверяет изменения в соответствии с интервалом извлечения дельты.
Примечание к информацииИнтервал будет начинаться после каждого «раунда». Раунд можно определить как время, необходимое задаче данных для считывания изменений из исходных таблиц и отправки их в целевую (в виде одной транзакции). Длительность раунда варьируется в зависимости от количества таблиц и изменений. Таким образом, если вы укажете интервал в 10 минут, а раунд занимает 4 минуты, то фактическое время между проверками изменений составит 14 минут.-
Интервал извлечения дельты: Частота, с которой дельта-изменения будут извлекаться из вашей системы. По умолчанию каждые 60 секунд.
-
-
По расписанию: Если выбран этот параметр, задача данных извлечет дельта-изменения один раз, а затем остановится. Затем она продолжит выполняться по расписанию.
Примечание к информацииЭтот параметр актуален только если интервал между циклами CDC составляет 24 часа или более.Для получения информации о планировании:
-
Задачи промежуточного хранения в проекте конвейера данных, см. Планирование задач
-
Различные настройки
- Размер кэша операторов (количество операторов): Максимальное количество подготовленных операторов для хранения на сервере для последующего выполнения (при применении изменений к целевой системе). Значение по умолчанию — 50. Максимум — 200.
-
DELETE и INSERT при обновлении столбца первичного ключа: Для этой опции требуется включить полное дополнительное журналирование в исходной базе данных.
Эволюция схемы
Выберите, как обрабатывать следующие типы изменений DDL в схеме. После изменения настроек эволюции схемы необходимо снова подготовить задачу. В таблице ниже описано, какие действия доступны для поддерживаемых изменений DDL.
| Изменение DDL | Применить к целевой системе | Игнорировать | Приостановить таблицу | Остановить задачу |
|---|---|---|---|---|
| Добавить столбец | Да | Да | Да | Да |
| Переименовать столбец | Нет | Нет | Да | Да |
| Переименовать таблицу | Нет | Нет | Да | Да |
| Изменить тип данных столбца | Нет | Да | Да | Да |
| Создать таблицу
Если вы использовали Правило выбора для добавления наборов данных, соответствующих шаблону, новые таблицы, соответствующие шаблону, будут обнаружены и добавлены. |
Да | Да | Нет | Нет |
Подстановка символов
Можно заменять или удалять исходные символы в целевой базе данных и (или) исходные символы, не поддерживаемые выбранным набором символов.
-
Все символы должны быть указаны в виде кодовых точек Юникода.
- Подстановка символов также будет выполняться в управляющих таблицах.
-
Недопустимые значения отмечаются красным треугольником в верхнем правом углу ячейки таблицы. При наведении указателя мыши на треугольник отображается сообщение об ошибке.
-
Любые преобразования на уровне таблицы и глобальные преобразования, определенные для таблицы, будут выполняться после завершения подстановки символов.
-
Действия подстановки, определенные в таблице Подставлять или удалять исходные символы, выполняются до определения действия подстановки в таблице Неподдерживаемые исходные символы по набору символов.
- Подстановка символов не поддерживается для типов данных LOB.
Подстановка или удаление исходных символов
Используйте таблицу Подставлять или удалять исходные символы, чтобы определить замены для конкретных исходных символов. Это может быть полезно, например, когда представление символа в Юникоде отличается на исходной и целевой платформах. Например, на платформе Linux символ «минус» в наборе символов Shift_JIS представлен как U+2212, а в ОС Windows как U+FF0D.
| Параметр управления | Сделайте это |
|---|---|
|
Определите действия подстановки. |
|
|
Изменение указанного исходного или целевого символа |
Нажмите кнопку |
|
Удаление записей из таблицы |
Нажмите кнопку |
Замена или удаление исходных символов, не поддерживаемых выбранным набором символов
Используйте таблицу Неподдерживаемые исходные символы по набору символов, чтобы определить один символ подстановки для всех символов, не поддерживаемых выбранным набором символов.
| Параметр управления | Сделайте это |
|---|---|
|
Определите или измените действие подстановки. |
|
|
Отключите действие подстановки. |
Выберите пустую запись в раскрывающемся списке Набор символов. |
Дополнительные параметры
Эти параметры не раскрываются в пользовательском интерфейсе, так как они применяются только в определенных версиях или средах. Поэтому не следует устанавливать их, если на это нет соответствующих указаний службы поддержки Qlik или в документации по продукту.
Чтобы задать параметр, просто скопируйте его в поле Добавить имя признака и нажмите кнопку Добавить. Затем задайте значение или включите параметр в соответствии с полученными инструкциями.
Параллельная загрузка сегментов набора данных
Во время полной загрузки можно ускорить загрузку больших наборов данных, разделив набор данных на сегменты, которые будут загружаться параллельно. Таблицы можно разделить по диапазонам данных, всем разделам, всем подразделам или определенным разделам.
Для получения дополнительной информации см. Параллельная выгрузка в промежуточное хранение сегментов набора данных.
Планирование задач
В следующих случаях использования необходимо определить интервал планирования, чтобы поддерживать целевые данные в актуальном состоянии:
- Доступ к источнику данных без Шлюз движения данных
- Использование коннектора приложения SaaS, который не поддерживает настройку Считывать изменения каждые
- При захвате изменений из источника SAP OData с использованием опции По расписанию.
Расписание определяет, как часто целевые наборы данных будут обновляться изменениями из исходных наборов данных. В то время как расписание определяет частоту обновления, тип набора данных определяет метод обновления. Если исходные наборы данных поддерживают CDC (Change data capture), только изменения исходных данных будут реплицированы и применены к соответствующим целевым таблицам. Если исходные наборы данных не поддерживают CDC (например, представления), изменения будут применяться путем перезагрузки всех исходных данных в соответствующие целевые таблицы. Если некоторые из исходных наборов данных поддерживают CDC, а некоторые нет, будут созданы две отдельные подзадачи: одна для перезагрузки наборов данных, которые не поддерживают CDC, а другая для захвата изменений в наборах данных, которые поддерживают CDC. В этом случае для обеспечения согласованности данных настоятельно рекомендуется не поддерживать одинаковый интервал планирования для обеих задач (если вы решите изменить частоту обновления в будущем).
Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.
Чтобы изменить расписание:
-
Откройте проект конвейера и выполните одно из следующих действий:
- В представлении задач нажмите
на задаче данных и выберите Планирование.
- В представлении конвейера нажмите
на задаче данных и выберите Планирование.
- Откройте задачу промежуточного хранения и нажмите кнопку Планирование на панели инструментов.
- В представлении задач нажмите
- Измените настройки планирования по мере необходимости, а затем нажмите ОК.
Выполнение пропущенного запуска для задачи на основе Шлюз движения данных
Иногда проблемы с сетью могут привести к потере подключения к Шлюз движения данных. Если подключение к Шлюз движения данных не будет восстановлено до следующего запланированного запуска, задача данных не будет выполнена в запланированное время. В таких случаях можно выбрать, нужно ли выполнять задачу сразу после восстановления подключения.
Настройки по умолчанию для всех Шлюз движения данных определены в центре активности Администрирование. Вы можете переопределить эти настройки для отдельных задач, как описано ниже.
Для этого
-
Откройте свой проект и выполните одно из следующих действий:
-
В представлении задач нажмите
на задаче данных и выберите Планирование.
-
В представлении конвейера нажмите
на задаче данных и выберите Планирование.
-
Откройте задачу данных и нажмите кнопку Планирование на панели инструментов.
Откроется диалоговое окно Планирование - <задача>.
-
-
Включите Использовать пользовательские настройки для этой задачи.
-
В нижней части диалогового окна выберите одну из следующих опций Запускать пропущенные запланированные задачи.
-
Как можно скорее, а затем по расписанию, если важно запустить задачу до следующего запланированного экземпляра
-
По расписанию, чтобы запустить задачу в следующий запланированный экземпляр
-
-
Сохраните свои настройки.
См. также: Выполнение задачи, не выполненной по графику.