Настройки для облачных целевых хранилищ
Вы можете изменить настройки промежуточного хранения в озере данных по умолчанию в соответствии с вашими потребностями.
Общие
Метод обновления
Вы можете выполнять промежуточное хранение данных в двух разных режимах. Изменить режим после подготовки задачи промежуточного хранения в озере данных невозможно.
-
Захват данных изменений (CDC) с помощью таблиц изменений задачи промежуточного хранения в озере данных начинаются с полной загрузки (во время которой все выбранные таблицы загружаются в цель). После этого актуальность данных в цели поддерживается с использованием технологии CDC (Change Data Capture, захват данных изменений).
Примечание к информацииCDC (Захват данных изменений) для операций DDL не поддерживается.При работе с Шлюз движения данных изменения захватываются из источника практически в режиме реального времени. При работе без Шлюз движения данныхизменения захватываются в соответствии с параметрами планировщика. Для получения дополнительной информации см. раздел Настройки для облачных целевых хранилищ.
-
Перезагрузить: выполняется полная загрузка данных из выбранных исходных таблиц на целевую платформу, при необходимости создаются целевые таблицы. Полная загрузка выполняется автоматически, когда запускается задача, но при необходимости ее можно выполнять вручную или по расписанию на регулярной основе.
Используемая папка
Выберите одно из перечисленного ниже в зависимости от того, в какую папку блока требуется записывать файлы:
- Папка по умолчанию: Формат папки по умолчанию: <имя_проекта>/<имя_задачи>
- Корневая папка: файлы будут записываться прямо в блок.
-
Папка: укажите имя папки. Если папка не существует, она будет создана при выполнении задачи промежуточного хранения в озере данных.
Примечание к информации Имя папки не должно включать специальных символов (например, @, #, ! и т. д.).
Секционирование данных изменений
В стандартной задаче промежуточного хранения изменения сохраняются в целевом объекте в произвольном порядке. Секционирование данных изменений позволяет согласованно обрабатывать данные изменений из множества таблиц. Вы можете определить продолжительность секций, а также базовое время секционирования, тем самым обеспечивая общую согласованность секционированных данных (т. е. отсутствие частичных транзакций, заголовков заказов без строк заказов и т. д.).
Информация о секциях записывается в управляющую таблицу attrep_cdc_partitions в целевой базе данных. Эту информацию можно использовать для идентификации секционированных данных, которые необходимо обработать в дальнейшем.
Доступны следующие параметры секционирования:
-
Секционировать каждые — укажите продолжительность (в часах и минутах) каждой секции.
Примечание к информацииРекомендуется указывать продолжительность секции более одного часа. Хотя указание продолжительности секции менее одного часа может улучшить задержку, создание множества секций в целевом объекте также может повлиять на производительность (целевого объекта) (особенно в системах с большими объемами изменений).
Если вы возобновите задачу с момента ДО создания последней секции, задача промежуточного хранения в озере данных будет выполнять запись в секцию, которая уже была закрыта.
- Базовое время секционирования — секции создаются в течение 24-часового периода времени, который рассчитывается в соответствии с указанным «Базовым временем секционирования» в исходной базе данных (по времени UTC). Например, интервал секционирования в 8 часов с «Базовым временем секционирования» 02:00 создаст следующие секции: 02:00-10:00, 10:00-18:00, 18:00-02:00 — но не обязательно в таком порядке. Например, если задача началась в 01:00, то временные рамки первой секции будут 18:00-02:00. Кроме того, если задача началась в середине секции (например, в 04:00), ее данные изменений будут вставлены в секцию 02:00-10:00 (даже если до 04:00 изменения не фиксировались).
Выгрузка данных
Атрибуты файла
Формат
Вы можете выбрать создание целевых файлов в формате CSV, JSON или Parquet.
В файле JSON каждая запись представлена одной строкой, как в следующем примере:
{ "book_id": 123, "title": "Alice in Wonderland", "price": 6.99, "is_hardcover": false }
{ "book_id": 456, "title": "Winnie the Pooh", "price": 6.49, "is_hardcover": true }
{ "book_id": 789, "title": "The Cat in the Hat", "price": 7.23, "is_hardcover": true }
См. также: Свойства content-type и content-encoding
- Если вы выберете формат JSON или Parquet , следующие поля будут скрыты, так как они относятся только к формату CSV: Разделитель полей, Разделитель записей, Нулевое значение, Символ кавычек, Символ экранирования кавычек и Добавить заголовок метаданных.
- Следующие поля относятся только к формату Parquet: Версия Parquet, Единица измерения метки времени Parquet и Максимальный размер LOB Parquet (КБ).
Для получения информации о сопоставлении типов данных при использовании формата Parquet и ограничениях см. Mapping from Qlik Cloud data types to Parquet
Разделитель полей
Разделитель, который будет использоваться для разделения полей (столбцов) в целевых файлах. По умолчанию используется запятая.
Пример использования запятой в качестве разделителя:
"mike","male"
Разделители могут быть стандартными символами или шестнадцатеричным (hex) значением. Обратите внимание, что для обозначения шестнадцатеричного разделителя необходимо использовать префикс «0x» (например, 0x01 = SOH). В полях Разделитель полей, Разделитель записей и Нулевое значение разделитель может состоять из объединенных шестнадцатеричных значений (например, 0x0102 = SOHSTX), тогда как в полях Символ кавычек и Символ экранирования кавычек это может быть только одно шестнадцатеричное значение.
Шестнадцатеричное число 0x00 не поддерживается (т. е. поддерживаются только значения от 0x01 до 0xFF).
Нулевое значение
Строка, которая будет использоваться для обозначения нулевого значения в целевых файлах.
Пример (где \n — разделитель записей, а @ — нулевое значение):
Разделитель записей
Разделитель, который будет использоваться для разделения записей (строк) в целевых файлах. По умолчанию используется символ новой строки (\n).
Пример:
Символ кавычек
Символ, который будет использоваться в начале и в конце текстового столбца. По умолчанию используется символ двойной кавычки ("). Если столбец, содержащий разделители столбцов, заключен в двойные кавычки, символы разделителя столбцов интерпретируются как фактические данные, а не как разделители столбцов.
Пример (где @ — символ кавычек):
Символ экранирования кавычек
Символ, используемый для экранирования символа кавычек в фактических данных. По умолчанию используется символ двойной кавычки (").
Пример (где " — символ кавычек, а \ — символ экранирования):
Версия Parquet
Выберите версию для использования в соответствии с тем, какую версию поддерживает целевая платформа. Обратите внимание, что версия Parquet 1.0 поддерживает только единицу измерения метки времени MICRO , тогда как версия Parquet 2.6 поддерживает единицы измерения метки времени как MICRO , так и NANO .
Единица измерения метки времени Parquet
Если для версии Parquet установлено значение 2.6, выберите MICRO или NANO. Если для версии Parquet установлено значение 1.0, поддерживается только MICRO .
Максимальный размер LOB Parquet (КБ)
Максимальный размер LOB по умолчанию составляет 64 КБ, а максимальное значение, которое можно ввести в это поле, — 10 000 КБ. Обработка столбцов LOB требует больших ресурсов, что, в свою очередь, влияет на производительность. Увеличивайте это значение только в том случае, если вы выполняете репликацию данных LOB размером более 64 КБ и вам необходимо, чтобы все данные LOB были реплицированы в целевой объект.
Максимальный размер файла
Максимальный размер, которого может достичь файл перед его закрытием (и, при необходимости, сжатием).
Максимальный размер, по достижении которого файл закрывается. Для загрузки файлов меньшего размера может требоваться меньше времени (в зависимости от сети), благодаря чему повышается быстродействие при использовании вместе с параметром «Параллельное выполнение». Однако, как правило, не рекомендуется загромождать базу данных маленькими файлами.
Сжимать файлы с помощью
Выберите один из параметров сжатия для сжатия целевых файлов или NONE (по умолчанию), чтобы оставить их несжатыми. Обратите внимание, что доступные параметры сжатия определяются выбранным форматом файла.
Добавить заголовок метаданных
На свое усмотрение, можно добавить строку заголовка в файлы данных. Строка заголовка может содержать имена исходных столбцов и (или) промежуточные типы данных (то есть Qlik Talend Data Integration).
Пример целевого файла со строкой заголовка, когда установлены флажки С именами столбцов и С типами данных:
Position:DECIMAL(38,0),Color:VARCHAR(10)
1,"BLUE"
2,"BROWN"
3,"RED"
...
Обработка изменений
В этом разделе описаны условные настройки в разделе Обработка изменений.
Применять/сохранять изменения, когда
- Размер файла достигает: укажите максимальный размер данных изменений, которые необходимо накопить перед выгрузкой файла в целевой объект.
- Прошедшее время достигает: Прошедшее время достигает x.
Файлы метаданных
Если выбрана опция Создавать файлы метаданных в целевой папке , для каждого файла данных в указанной целевой папке будет создан соответствующий файл метаданных с расширением .dfm . Файлы метаданных предоставляют дополнительную информацию о задаче/данных, такую как тип исходного коннектора, имя исходной таблицы, количество записей в файле данных и т. д.
Полное описание файла метаданных, а также возможные варианты использования см. в разделе Описание файла метаданных
Метаданные
Столбцы LOB
Включить столбцы LOB и ограничить размер столбца до (КБ)
Вы можете выбрать включение столбцов LOB в задачу и установить максимальный размер LOB. Объекты LOB, превышающие максимальный размер, будут усечены.
Сопоставление столбцов JSON
Сопоставите совместимые столбцы JSON источника со столбцами JSON цели
-
Если доступ к источнику осуществляется через Шлюз движения данных, необходимы шлюзы версии 2024.11.70 или выше.
-
Поддерживается только с коннекторами SaaS-приложений Preview.
В этом случае столбцы JSON в источнике будут автоматически сопоставлены со столбцами JSON в цели.
Состояние и видимость этой опции определяется следующими факторами:
-
Новые задачи: Эта опция включена по умолчанию, если и источник, и цель поддерживают тип данных JSON.
-
Существующие задачи: Эта опция отключена по умолчанию, если и источник, и цель поддерживают тип данных JSON. Это условие используется, чтобы сохранить обратную совместимость с последующими процессами, например преобразованиями данных, в которых ожидаются целевые данные в формате STRING (что является устаревшим поведением). Можно оставить эту опцию отключенной. Можно также изменить нижестоящие процессы так, чтобы обеспечить совместимость с форматом JSON, после чего включить эту опцию.
-
Новые и существующие задачи: Если тип данных JSON поддерживается только в источнике, эта опция не отображается. Если поддержка JSON появится в цели позже, эта опция появится, но будет отключенной. Это условие используется, чтобы сохранить обратную совместимость с последующими процессами, например преобразованиями данных, в которых ожидаются целевые данные в формате STRING (что является устаревшим поведением).
Управляющие таблицы
Выберите, какие из следующих управляющих таблиц вы хотите создать на целевой платформе:
- Статус репликации: предоставляет сведения о текущей задаче промежуточного хранения, включая статус задачи, объем памяти, потребляемой задачей, количество изменений, еще не примененных к платформе данных, и позицию в источнике данных, из которой в данный момент считываются данные.
- Приостановленные таблицы: предоставляет список приостановленных таблиц и причину их приостановки.
- История репликации: предоставляет информацию об истории задачи, включая количество и объем записей, обработанных во время задачи промежуточного хранения, задержку в конце задачи CDC и многое другое.
- Секции данных изменений: предоставляет записи о секциях, созданных в целевой базе данных в результате Секционирование данных изменений. Вы можете использовать эту информацию для идентификации секционированных данных, которые необходимо обработать в дальнейшем.
Подробное описание каждой из управляющих таблиц см. в разделе Управляющие таблицы
Полная загрузка
, как в диалоговом окне Создание подключения, так и в интерактивной справке.Настройка производительности
- Максимальное количество таблиц для параллельной загрузки: введите максимальное количество таблиц для одновременной загрузки в целевой объект. Значение по умолчанию — 5.
-
Тайм-аут согласованности транзакций (в секундах): введите количество секунд ожидания закрытия открытых транзакций перед началом операции полной загрузки. Значение по умолчанию — 600 (10 минут). Полная загрузка начнется после достижения значения тайм-аута, даже если все еще есть открытые транзакции.
Примечание к информацииЧтобы реплицировать транзакции, которые были открыты при запуске полной загрузки, но были зафиксированы только после достижения значения тайм-аута, необходимо перезагрузить целевые таблицы. - Частота фиксации во время полной загрузки: максимальное количество событий, которые могут быть переданы вместе. Значение по умолчанию — 10000.
После завершения полной загрузки
Создать первичный ключ или уникальный индекс: выберите эту опцию, если вы хотите отложить создание первичного ключа или уникального индекса на платформе данных до завершения полной загрузки.
Для начальной загрузки
При перемещении данных из источника приложений SaaS можно настроить порядок выполнения начальной полной загрузки.
| Использовать кэшированные данные |
Этот параметр позволяет использовать кэшированные данные, которые были прочитаны при создании метаданных с установленным флажком Полное сканирование данных. Это уменьшает накладные расходы, связанные с квотами и использованием API, поскольку данные уже считаны из источника. Все изменения, внесенные после начального сканирования данных, можно получить в режиме «Захват изменений данных (CDC)». |
| Загрузить данные из источника |
Этот параметр выполняет новую загрузку из источника данных. Этот параметр полезен, если:
|
Обработка сохранения изменений
Столбцы заголовка таблицы изменений предоставляют информацию об операции обработки изменений, такую как тип операции (например, INSERT), время фиксации и т. д. Если вам не нужна эта информация, вы можете настроить задачу данных на создание таблиц изменений без некоторых или всех столбцов заголовка, тем самым уменьшив их объем в целевой базе данных. Для этого снимите флажки для столбцов заголовка, которые вы хотите исключить.
Обратите внимание, что вы не можете удалять дополнительные столбцы или восстанавливать столбцы во время выполнения задачи. Чтобы изменить первоначальный выбор, сначала необходимо остановить задачу, затем изменить выбор и, наконец, перезагрузить целевые таблицы.
Если включено Секционирование данных изменений, в таблицы изменений добавляется дополнительный столбец заголовка с именем «partition_name», который автоматически выбирается в пользовательском интерфейсе. Поскольку этот столбец является обязательным, его нельзя исключить.
Описание столбцов заголовка см. в разделе Использование таблиц изменений.
Обработка ошибок
Ошибки данных
Обработка ошибок данных поддерживается только при использовании метода обновления Захват измененных данных (CDC).
Ошибки усечения данных
В случае ошибок усечения данных: выберите, что должно произойти в случае усечения одной или нескольких конкретных записей. Можно выбрать из списка одно из следующих действий:
- Игнорировать: задача продолжается, ошибка игнорируется.
- Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
- Остановить задачу: задача останавливается, требуется вмешательство вручную.
Другие ошибки данных
В случае других ошибок данных: выберите, что должно произойти в случае ошибки в одной или нескольких конкретных записях. Можно выбрать из списка одно из следующих действий:
- Игнорировать: задача продолжается, ошибка игнорируется.
- Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
- Остановить задачу: задача останавливается, требуется вмешательство вручную.
Эскалация обработки ошибок данных
Эскалировать обработку при достижении количества других ошибок данных (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок данных, не связанных с усечением, (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.
Действие при эскалации: выберите, что должно произойти в случае эскалации обработки ошибок. Обратите внимание, что доступные действия зависят от действия, выбранного в раскрывающемся списке Для других ошибок данных, описанном выше.
-
Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не помещаются на промежуточное хранение (landed).
- Остановить задачу: задача останавливается, требуется вмешательство вручную.
Ошибки таблиц
Количество повторных попыток до возврата ошибки таблицы
Эта опция позволяет контролировать, когда будет активирована политика обработки ошибок таблицы. По умолчанию, после обнаружения ошибки таблицы, таблица будет приостановлена или задача будет остановлена (в соответствии с выбранным действием) после трех повторных попыток. Иногда ошибка таблицы будет возникать из-за планового обслуживания приложения SaaS. В этих случаях количества повторных попыток по умолчанию может быть недостаточно для завершения обслуживания до активации политики обработки ошибок таблицы. Это также зависит от интервала планирования задачи, поскольку повторная попытка будет выполняться каждый раз, когда задача запускается. Так, например, если вы запланируете выполнение задачи каждый час, и приложение SaaS будет отключено для обслуживания как только задача начнет выполняться, три повторные попытки по умолчанию позволят приложению SaaS оставаться в автономном режиме до трех часов без активации политики обработки ошибок таблицы. Более длительное окно обслуживания потребует от вас увеличения количества повторных попыток (или изменения расписания), чтобы предотвратить активацию политики обработки ошибок таблицы.
Подводя итог, если вы знаете, что ваше приложение SaaS проходит периодическое обслуживание, лучшей практикой является увеличение количества повторных попыток в соответствии с расписанием, чтобы обслуживание могло быть завершено без активации политики обработки ошибок таблицы.
-
Эта опция будет отображаться только для задач, настроенных с коннектором приложения SaaS Lite или Standard.
-
Если используется Шлюз движения данных: требуется версия 2024.11.70 или выше.
При возникновении ошибки таблицы: Выберите из списка одно из следующих действий:
- Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются
- Остановить задачу: задача останавливается, требуется вмешательство вручную.
Эскалировать обработку ошибок при достижении количества ошибок таблиц (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок таблиц (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.
Действие эскалации: для ошибок таблиц задается политика эскалации Остановить задачу , ее нельзя изменить.
Ошибки среды
-
Максимальное количество повторных попыток: установите этот флажок, а затем укажите максимальное количество повторных попыток выполнить задачу в случае возникновения исправимых ошибок среды. После того как будет предпринято указанное количество повторных попыток выполнения, задача останавливается, что требует вмешательства вручную.
Чтобы никогда не предпринимать повторных попыток, снимите флажок или задайте значение «0».
Чтобы предпринимать неограниченное количество повторных попыток, задайте значение «-1»
-
Интервал между повторными попытками (секунды): используйте счетчик для выбора или ввода количества секунд ожидания перед повторной попыткой выполнения задачи.
Допустимые значения: 1-2000.
-
- Увеличивать интервал повтора при длительных перерывах в работе: установите этот флажок, чтобы увеличить время перед повтором при длительных перерывах в работе. Когда этот параметр включен, удваивается интервал ожидания перед каждой следующей попыткой повтора, пока не будет достигнуто значение Максимальный интервал повтора (и продолжает повторять попытки через указанный максимальный интервал).
- Максимальный интервал повтора (секунды): используйте счетчик для выбора или ввода количества секунд ожидания между повторными попытками выполнения задачи, когда установлен флажок Увеличивать интервал повтора при длительных перерывах в работе. Допустимые значения: 1-2000.
Настройка обработки изменений
Настройка выгрузки транзакций
-
Выгружать выполняемые транзакции на диск, если:
Данные транзакций обычно хранятся в памяти до тех пор, пока они не будут полностью зафиксированы в источнике или целевом объекте. Однако транзакции, размер которых превышает выделенную память или которые не зафиксированы в течение указанного срока, будут выгружены на диск.
- Общий объем памяти для всех транзакций превышает (МБ): максимальный размер, который все транзакции могут занимать в памяти перед выгрузкой на диск. Значение по умолчанию — 1024.
- Продолжительность транзакции превышает (в секундах): максимальное время, в течение которого каждая транзакция может оставаться в памяти перед выгрузкой на диск. Продолжительность рассчитывается с момента, когда Qlik Talend Data Integration начал захват транзакции. Значение по умолчанию — 60.
Настройка пакетов
-
Минимальное количество изменений для каждой транзакции: минимальное количество изменений, которое должна содержать каждая транзакция. Значение по умолчанию — 1000.
Примечание к информацииИзменения будут применены к цели, когда количество изменений больше или равно значению параметра Минимальное количество изменений для каждой транзакции ИЛИ когда наступает значение Максимальное время для сбора транзакций в пакет до применения (секунды), описанное ниже, — в зависимости от того, что случится раньше. Так как частота применения изменений к цели регулируется этими двумя параметрами, изменения исходных записей могут быть отражены в целевых записях спустя некоторое время.
- Максимальное время для сбора транзакций в пакет до применения (секунды): максимальное время сбора транзакций в пакеты, по истечении которого объявляется тайм-аут. Значение по умолчанию — 1.
Интервал
Настройки при использовании коннекторов SAP ODP и SaaS-приложений (Lite)
-
Считывание изменений кажд. (минуты)
Интервал между чтением изменений из источника в минутах. Допустимый диапазон от 1 до 1440.
Примечание к информацииЭтот параметр доступен только в том случае, если задача данных определена с помощью:
- Шлюз движения данных
- Любой из следующих источников:
- SaaS-приложение только через коннекторы Lite
- SAP ODP
- Метод обновления Захват данных изменений (CDC)
Настройки при использовании коннектора SAP OData
Проверить на наличие изменений
-
В соответствии с интервалом извлечения дельты:Если выбран этот параметр, задача данных проверяет изменения в соответствии с интервалом извлечения дельты.
Примечание к информацииИнтервал будет начинаться после каждого «раунда». Раунд можно определить как время, необходимое задаче данных для считывания изменений из исходных таблиц и отправки их в целевую (в виде одной транзакции). Длительность раунда варьируется в зависимости от количества таблиц и изменений. Таким образом, если вы укажете интервал в 10 минут, а раунд занимает 4 минуты, то фактическое время между проверками изменений составит 14 минут.-
Интервал извлечения дельты: Частота, с которой дельта-изменения будут извлекаться из вашей системы. По умолчанию каждые 60 секунд.
-
-
По расписанию: Если выбран этот параметр, задача данных извлечет дельта-изменения один раз, а затем остановится. Затем она продолжит выполняться по расписанию.
Примечание к информацииЭтот параметр актуален только если интервал между циклами CDC составляет 24 часа или более.Для получения информации о планировании:
-
задачи «Размещение данных в озере данных» в проекте репликации, см. Планирование CDC для задач промежуточного хранения в озере
-
Различные настройки
- Размер кэша операторов (количество операторов): максимальное количество подготовленных операторов для хранения на сервере для последующего выполнения (при применении изменений к целевому объекту). Значение по умолчанию — 50. Максимальное значение — 200.
-
DELETE и INSERT при обновлении столбца первичного ключа: для этой опции требуется включить полное дополнительное ведение журнала в исходной базе данных.
Примечание к информацииЭтот параметр недоступен при использовании коннекторов для приложений SaaS, предоставляемых в режиме предварительного просмотра. Коннекторы Preview приложений SaaS обозначены кнопкой, как в диалоговом окне Создание подключения, так и в интерактивной справке.
Эволюция схемы
Выберите, как обрабатывать следующие типы изменений DDL в схеме. После изменения настроек эволюции схемы необходимо снова подготовить задачу. В таблице ниже описано, какие действия доступны для поддерживаемых изменений DDL.
| Изменение DDL | Применить к целевому объекту | Игнорировать | Приостановить таблицу | Остановить задачу |
|---|---|---|---|---|
| Добавить столбец | Да | Да | Да | Да |
| Переименовать столбец | Нет | Нет | Да | Да |
| Переименовать таблицу | Нет | Нет | Да | Да |
| Изменить тип данных столбца | Нет | Да | Да | Да |
| Создать таблицу
Если вы использовали Правило выбора для добавления наборов данных, соответствующих шаблону, новые таблицы, соответствующие шаблону, будут обнаружены и добавлены. |
Да | Да | Нет | Нет |
Подстановка символов
Можно заменять или удалять исходные символы в целевой базе данных и (или) исходные символы, не поддерживаемые выбранным набором символов.
-
Все символы должны быть указаны в виде кодовых точек Юникода.
- Подстановка символов также будет выполняться в управляющих таблицах.
-
Недопустимые значения отмечаются красным треугольником в верхнем правом углу ячейки таблицы. При наведении указателя мыши на треугольник отображается сообщение об ошибке.
-
Любые преобразования на уровне таблицы и глобальные преобразования, определенные для таблицы, будут выполняться после завершения подстановки символов.
-
Действия подстановки, определенные в таблице Подставлять или удалять исходные символы, выполняются до определения действия подстановки в таблице Неподдерживаемые исходные символы по набору символов.
- Подстановка символов не поддерживается для типов данных LOB.
Подстановка или удаление исходных символов
Используйте таблицу Подставлять или удалять исходные символы, чтобы определить замены для конкретных исходных символов. Это может быть полезно, например, когда представление символа в Юникоде отличается на исходной и целевой платформах. Например, на платформе Linux символ «минус» в наборе символов Shift_JIS представлен как U+2212, а в ОС Windows как U+FF0D.
| Параметр управления | Сделайте это |
|---|---|
|
Определите действия подстановки. |
|
|
Изменение указанного исходного или целевого символа |
Нажмите кнопку |
|
Удаление записей из таблицы |
Нажмите кнопку |
Замена или удаление исходных символов, не поддерживаемых выбранным набором символов
Используйте таблицу Неподдерживаемые исходные символы по набору символов, чтобы определить один символ подстановки для всех символов, не поддерживаемых выбранным набором символов.
| Параметр управления | Сделайте это |
|---|---|
|
Определите или измените действие подстановки. |
|
|
Отключите действие подстановки. |
Выберите пустую запись в раскрывающемся списке Набор символов. |
Параллельная загрузка сегментов набора данных
Во время полной загрузки вы можете ускорить загрузку больших наборов данных, разделив набор данных на сегменты, которые будут загружаться параллельно. Таблицы можно разделить по диапазонам данных, всем секциям, всем подсекциям или определенным секциям.
Для получения дополнительной информации см. Параллельная репликация сегментов набора данных.
Дополнительные параметры
Эти параметры не раскрываются в пользовательском интерфейсе, так как они применяются только в определенных версиях или средах. Поэтому не следует устанавливать их, если на это нет соответствующих указаний службы поддержки Qlik или в документации по продукту.
Чтобы задать параметр, просто скопируйте его в поле Добавить имя признака и нажмите кнопку Добавить. Затем задайте значение или включите параметр в соответствии с полученными инструкциями.
Планирование CDC для задач промежуточного хранения в озере
В следующих случаях использования необходимо определить интервал планирования, чтобы поддерживать целевые данные в актуальном состоянии:
- Доступ к источнику данных без Шлюз движения данных
- Использование предварительной версии коннектора приложения SaaS. Чтобы узнать, находится ли ваш коннектор в предварительной версии, см. справку по коннектору.
- При захвате изменений из источника SAP OData с использованием опции По расписанию.
Расписание определяет, как часто целевые наборы данных будут обновляться изменениями в исходных наборах данных. В то время как расписание определяет частоту обновления, тип набора данных определяет метод обновления. Если исходные наборы данных поддерживают CDC (Захват изменений данных), только изменения в исходных данных будут реплицированы в соответствующие целевые таблицы. Если исходные наборы данных не поддерживают CDC (например, «Виды»), изменения будут применены путем перезагрузки всех исходных данных в соответствующие целевые таблицы. Если одни исходные наборы данных поддерживают CDC, а другие нет, будут созданы две подзадачи (предположим, для параметра Захват данных изменений (CDC) выбран метод обновления ): один для перезагрузки наборов данных, которые не поддерживают CDC, а другой для захвата изменений наборов данных, не поддерживающих CDC. В этом случае для обеспечения согласованности данных настоятельно рекомендуется не поддерживать одинаковый интервал планирования для обеих задач (если вы решите изменить частоту обновления в будущем).
Чтобы изменить расписание:
-
Откройте проект конвейера и выполните одно из следующих действий:
- В представлении задач нажмите
на задаче данных и выберите Планирование.
- В представлении конвейера нажмите
на задаче данных и выберите Планирование.
- Откройте задачу репликации и нажмите кнопку панели инструментов Планирование .
- В представлении задач нажмите
- Измените настройки планирования по мере необходимости, а затем нажмите ОК.
Выполнение пропущенного запуска для задачи на основе Шлюз движения данных
Иногда проблемы с сетью могут привести к потере подключения к Шлюз движения данных. Если подключение к Шлюз движения данных не будет восстановлено до следующего запланированного запуска, задача данных не будет выполнена в запланированное время. В таких случаях можно выбрать, нужно ли выполнять задачу сразу после восстановления подключения.
Настройки по умолчанию для всех Шлюз движения данных определены в центре активности Администрирование. Вы можете переопределить эти настройки для отдельных задач, как описано ниже.
Для этого
-
Откройте свой проект и выполните одно из следующих действий:
-
В представлении задач нажмите
на задаче данных и выберите Планирование.
-
В представлении конвейера нажмите
на задаче данных и выберите Планирование.
-
Откройте задачу данных и нажмите кнопку панели инструментов Планирование .
Откроется диалоговое окно Планирование — <задача>.
-
-
Включите Использовать пользовательские настройки для этой задачи.
-
В нижней части диалогового окна выберите один из следующих параметров Запускать пропущенные запланированные задачи.
-
Как можно скорее, а затем по расписанию, если важно запустить задачу до следующего запланированного экземпляра
-
По расписанию, чтобы запустить задачу в следующем запланированном экземпляре
-
-
Сохраните настройки.
См. также: Выполнение задачи, не выполненной по графику.