Параметры репликации данных

Можно настроить параметры задачи репликации данных.

Откройте задачу репликации и щелкните Параметры на панели инструментов.

Откроется диалоговое окно Параметры: <Имя_задачи>. Доступные параметры описаны ниже.

Режимы задачи

На этой вкладке можно задать режим репликации и определить, какие изменения будут применены к цели.

Режим репликации

Доступны следующие режимы репликации:

когда выполняется репликация из источников приложений SaaS, режим репликации Полная загрузка включается по умолчанию и не может быть отключен.

Полная загрузка: данные из выбранных исходных таблиц загружаются на целевую платформу, при необходимости создаются целевые таблицы. Полная загрузка выполняется автоматически, когда запускается задача, но ее можно выполнить вручную при необходимости.
Применить изменения: целевые таблицы постоянно обновляются изменениями, вносимыми в исходные таблицы.
Сохранить изменения: изменения исходных таблиц сохраняются в таблицах изменений (по одной на каждую исходную таблицу).

Для получения дополнительной информации см. Сохранить изменения.

Если выбран вариант Сохранить изменения или Применить изменения и исходные данные содержат таблицы, которые не поддерживают CDC, или виды, будет создано два конвейера данных. Один конвейер предназначен для таблиц, поддерживающих CDC, а второй для всех остальных таблиц и видов, которые поддерживают только режим Полная загрузка.

Операции DDL ALTER TABLE (ИЗМЕНИТЬ ТАБЛИЦУ) в настоящее время не поддерживаются. Другие операции DDL, такие как DROP TABLE (ОТБРОСИТЬ ТАБЛИЦУ) и TRUNCATE TABLE (УСЕЧЬ ТАБЛИЦУ), поддерживаются.

Режим применения изменений

Изменения применяются к целевым таблицам с использованием одного из следующих методов:

Пакетная оптимизация: это значение по умолчанию. Когда установлен этот флажок, изменения применяются пакетами. Происходит предварительная обработка, чтобы сгруппировать транзакции в пакеты наиболее эффективным способом.
Транзакционное: выберите этот параметр, чтобы применить каждую транзакцию отдельно, в том порядке, в котором она была совершена. В этом случае для всех таблиц обеспечивается строгая целостность данных.

Метаданные

Базовые

Схема целевой таблицы: схема в цели, в которую будут реплицированы исходные таблицы, если требуется не использовать схему исходной таблицы (или если в исходной базе данных отсутствует схема).

Примечание к информацииПри репликации в цель Oracle в качестве схемы целевой таблицы по умолчанию используется «система». Также обратите внимание, что если оставить это поле пустым (в таком случае будет использоваться исходная схема), необходимо убедиться, что исходная схема уже существует в цели. В противном случае задача завершится ошибкой.

Примечание к информацииМаксимальная допустимая длина имени схемы составляет 128 символов.

Не включать столбцы LOB: установите этот флажок, если не требуется реплицировать исходные столбцы LOB.
Ограничить размер столбца LOB до (КБ): это значение по умолчанию. Установите этот флажок, если требуется реплицировать только небольшие LOB или если целевая платформа не поддерживает неограниченный размер LOB. Максимальное допустимое значение для этого поля составляет 102 400 КБ (100 МБ).

При репликации малых LOB этот параметр обеспечивает более высокую производительность, чем параметр Не ограничивать размер столбцов LOB, так как LOB реплицируются во «встроенном» (inline) режиме в противоположность использованию поиска (lookup) из источника. Во время обработки изменений малые LOB обычно реплицируются методом поиска (lookup) из источника.

Так как значение параметра «Ограничить размер LOB до» указывается в байтах, размер необходимо вычислить по следующим формулам:
- BLOB: длина самого большого LOB.
- NCLOB: длина самого длинного объекта TEXT (ТЕКСТ) в символах, умноженная на два (так как каждый символ обрабатывается как двухбайтовый). Если данные включают 4-байтовые символы, необходимо умножить длину на четыре.
- CLOB: длина самого длинного объекта TEXT (ТЕКСТ) в символах (так как каждый символ обрабатывается как символ UTF8). Если данные включают 4-байтовые символы, необходимо умножить длину на два.
Примечание к информации
- Любой LOB, размер которого больше заданного, будет усекаться.
- При обработке изменений из источника Oracle встроенные BLOB реплицируются во встроенном режиме.
- Изменение этого параметра затрагивает существующие таблицы только после перезагрузки.
Не ограничивать размер столбцов LOB: когда установлен этот флажок, столбцы LOB будут реплицироваться независимо от размера.

Примечание к информацииРепликация столбцов LOB может повлиять на производительность. Это особенно заметно в случае больших столбцов, при обработке которых Data Movement Gateway требуется выполнить поиск из исходной таблицы для получения исходного значения LOB.
- Оптимизировать, если размер LOB меньше: Установите этот флажок, когда требуется реплицировать и малые и большие LOB, при этом большинство LOB имеют небольшой размер.
  Примечание к информации
  Этот параметр поддерживается только для следующих источников и целей:
  - Источники: Oracle, Microsoft SQL Server, MySQL, PostgreSQL и IBM DB2 for LUW
  - Цели: Oracle, Microsoft SQL Server, MySQL, PostgreSQL.
  Когда установлен этот флажок во время полной загрузки, малые LOB будут реплицироваться во встроенном режиме (обеспечивая более высокую эффективность), а большие LOB будут реплицироваться методом поиска из исходной таблицы. Однако при обработке изменений и малые, и большие LOB будут реплицироваться методом поиска из исходной таблице.
  
  Примечание к информации
  Когда этот флажок установлен, Data Movement Gateway будет проверять размеры всех LOB, чтобы определить, какие из них можно переносить во встроенном режиме. LOB, размер которых превышает заданное значение, будут реплицироваться в режиме полного LOB.
  
  Поэтому если известно, что большинство LOB больше указанного размера, рекомендуется вместо этого использовать параметр Реплицировать столбцы LOB без ограничений .
- Размер блока (КБ): на свое усмотрение можно изменить размер блоков LOB для использования репликации данных в цели. Размер блока по умолчанию будет достаточным в большинстве случаев, но если возникают проблемы с производительностью, их можно исправить, регулируя размер.
  
  Примечание к информации
  При работе с некоторыми базами данных осуществляется проверка типа данных в процессе вставки или обновления данных. В таких случаях репликация структурированных типов данных (например, XML, JSON, GEOGRAPHY, и т. д.) может завершиться ошибкой, если их размер больше заданного размера блока.

Расширенные

Параметры управляющей таблицы

Схема управляющих таблиц: задайте целевую схему для управляющих таблиц, если их нежелательно создавать в исходной схеме (по умолчанию) или в целевой схеме.

Примечание к информацииМаксимальная допустимая длина имени схемы составляет 128 символов.
Создать целевые управляющие таблицы в табличном пространстве: Когда используется коннектор (connector) цели Oracle, укажите табличное пространство, в котором требуется создать целевые управляющие таблицы. Если оставить это поле пустым, таблицы будут создаваться в табличном пространстве по умолчанию в целевой базе данных.
Создать индексы для целевых управляющих таблиц в табличном пространстве:Когда используется коннектор (connector) цели Oracle, укажите табличное пространство, в котором требуется создать индексы управляющих таблиц. Если оставить это поле пустым, индексы будут создаваться в том же табличном пространстве, что и управляющие таблицы.
Временной интервал истории репликации (в минутах): длительность каждого интервала времени в управляющей таблице История репликации. Значение по умолчанию — 5 минут.

Выбор управляющей таблицы

Выберите управляющие таблицы, которые требуется создать в целевой платформе:

Логическое имя	Имя в целевом объекте
Применять исключения	attrep_apply_exceptions
Состояние репликации	attrep_status
Приостановленные таблицы	attrep_suspended_tables
История репликации	attrep_history

Для получения дополнительной информации об управляющих таблицах см. раздел Управляющие таблицы.

Полная загрузка

Базовые

Если целевая таблица уже существует: выберите одно из следующих действий в списке, чтобы определить порядок обработки загрузки таблицы при начале полной загрузки:

Вариант отбрасывания или усечения целевых таблиц применим, только если такие операции поддерживаются исходной конечной точкой.

Отбросить и создать таблицу: таблица отбрасывается, вместо нее создается новая.

Примечание к информации
Управляющие таблицы Data Movement Gateway невозможно отбросить. Однако отброшенные приостановленные таблицы также удаляются из управляющей таблицы attrep_suspended_tables в случае перезагрузки связанной таблицы.
УСЕЧЬ перед загрузкой: данные усекаются, метаданные таблицы не затрагиваются. Обратите внимание: когда установлен этот флажок, включение параметра Создать первичный ключ или уникальный индекс игнорируется.
Игнорировать: существующие данные и метаданные в целевой таблице не затрагиваются. Новые данные будут добавлены в таблицу.

Расширенные

Настройка производительности

Можно настроить следующие параметры, регулирующие производительность:

Максимальное количество таблиц: укажите максимальное количество таблиц, которое можно загружать в таблицу за один раз. Значение по умолчанию — 5.
Тайм-аут непротиворечивости транзакций (в секундах): введите количество секунд, в течение которого Data Movement Gateway ожидает закрытия транзакций, если они открыты на момент начала задачи, прежде чем начинать операцию полной загрузки. Значение по умолчанию — 600 (10 минут). Data Movement Gateway начнет полную загрузку по истечении времени тайм-аута, даже если остались открытые транзакции.

Примечание к информацииЧтобы реплицировать транзакции, открытые на момент начала полной загрузки, но зафиксированные только после истечения тайм-аута, необходимо перезагрузить целевые таблицы.
Скорость фиксации при полной загрузке: максимальное количество событий, передаваемых вместе. Значение по умолчанию — 10 000.

После завершения полной загрузки

Можно настроить автоматическую остановку задачи после завершения полной загрузки. Это полезно, если требуется выполнить операции DBA в целевых таблицах перед началом этапа «Применить изменения» (то есть CDC).

Во время полной загрузки все операции DML, выполненные в исходных таблицах, помещаются в кэш. Когда завершится полная загрузка, кэшированные изменения автоматически применяются к целевым таблицам (если отключены описанные ниже параметры До/после применения кэшированных изменений).

Создать первичный ключ или уникальный индекс: установите этот параметр, если требуется отложить создание первичного ключа или уникального индекса в цели до окончания полной загрузки.
Остановить задачу:
Примечание к информацииэти параметры недоступны при репликации из источников приложений, так как отсутствуют кэшированные события.
- До применения кэшированных изменений: установите флажок, чтобы остановить задачу после завершения полной загрузки.
- После применения кэшированных изменений: установите этот флажок, чтобы остановить задачу, когда данные всех таблиц в задаче будут согласованы.
Примечание к информации
Когда настраивается остановка задачи после завершения полной загрузки, обратите внимание на следующее:
- Задача не останавливается одновременно с завершением полной загрузки. Она будет остановлена только после захвата первого пакета изменений (так как именно это инициирует остановку задачи). На это может потребоваться какое-то время, в зависимости от частоты обновления исходной базы данных. После остановки задания изменения будут применены к цели только после возобновления задачи.
- Включение параметра После применения кэшированных изменений может повлиять на производительность, так как кэшированные изменения применяются к таблицам (даже те, для которых уже завершена полная загрузка) только после окончания полной загрузки последней таблицы.
- Когда установлен этот флажок и в одной из исходных таблиц в процессе полной загрузки выполняется операция DDL (в рамках задачи «Полная загрузка» и «Применить изменения»), Data Movement Gateway перезагрузит таблицу. Фактически это означает, что операции DML, выполняемые в исходных таблицах, будут реплицированы в целевые таблицы до остановки задачи.

Применение изменений

Эти параметры доступны, только когда включен режим репликации Применить изменения.

Базовые

Применять изменения DDL к целевой таблице

Эти параметры недоступны при репликации из источников приложений SaaS.

Следующие параметры определяют, будут ли операции DDL, выполненные в соответствующей исходной таблице, также выполняться в целевой таблице.

Отбросить таблицу: целевую таблицу можно отбросить, когда отброшена исходная таблица.
Усечь таблицу: целевую таблицу можно усечь, когда усечена исходная таблица.
Изменить таблицу: целевую таблицу можно изменить, когда изменена исходная таблица.

Настройка обработки изменений

Одновременно применять пакетные изменения к нескольким таблицам: Установите этот флажок, чтобы улучшить производительность при применении изменений из нескольких исходных таблиц.
Примечание к информации
Этот параметр поддерживается, только когда:
- Цель — Microsoft SQL Server.
- Для параметра Режим «Применить изменения» задано значение Пакетная оптимизация. Для получения дополнительной информации см. раздел Режимы задачи.
- Максимальное количество таблиц: максимальное количество таблиц для одновременного применения пакетных изменений. По умолчанию задано значение 50, минимальное значение — 2.

Когда включен параметр Одновременно применять пакетные изменения к нескольким таблицам, действуют следующие ограничения:

Параметры по умолчанию для политики обработки ошибок задачи остаются без изменений для ошибок типа Среда и Таблица, но значения по умолчанию для ошибок типа Данные и Конфликты применения будут следующие:
- Ошибки данных:
  - Ошибки усечения данных: Вносить запись в таблицу исключений
  - Другие ошибки данных: Приостановить таблицу
- Ошибки конфликтов применения:
  - Удаления: Игнорировать запись
  - Вставки: ОБНОВИТЬ существующую целевую запись
  - Обновления: Игнорировать запись
- Действие при эскалации:
  - параметр Действие при эскалации для ошибок Данные и для ошибок Конфликты применения не поддерживается.
- Управляющая таблица attrep_apply_exception не поддерживается.
- В случае ошибок данных:
  - Параметр Вносить запись в таблицу исключений доступен только для ошибок усечения данных.
  - Параметр Игнорировать отсутствует.
- Для конфликтов применения:
  - параметр Вносить запись в таблицу исключений недоступен.
  - Параметр Игнорировать доступен только для конфликта применения Не найдено записей для применения ОБНОВЛЕНИЯ.

См. также: Обработка ошибок.

Расширенные

См. Настройка обработки изменений.

Сохранить изменения

Эти параметры доступны, только когда включен режим репликации Сохранить изменения.

Базовые

Параметры DDL

Эти параметры недоступны при репликации из источников приложений SaaS.

Выберите один из следующих параметров, чтобы определить порядок обработки операций DDL в исходных таблицах:

Применить к таблице изменений: операции DDL с исходными таблицами (такие как добавление столбца) будут применены только к соответствующим таблицам изменений.
Игнорировать: все операции DDL с исходными таблицами будут игнорироваться.

Дополнительно

При обновлении

Этот параметр не применяется к источникам приложений SaaS, так как изменения применяются в рамках операции INSERT (ВСТАВКА).

Установите флажок Сохранять предыдущий образ и последующий образ, чтобы сохранить данные до и после обновления. Когда флажок не установлен, сохраняются только данные после обновления.

Создание таблицы изменений

В следующем разделе описываются параметры, доступные при хранении изменений в таблицах изменений.

Суффикс: укажите строку, которая будет использоваться в качестве суффикса для всех таблиц изменений. Значение по умолчанию ― __ct. Имена таблиц изменений образуются путем добавления суффикса к имени целевой таблицы. Так, например, при использовании суффикса по умолчанию имя таблицы изменений будет HR__ct.
Префикс столбца заголовка: укажите строку, которая будет использоваться в качестве префикса для всех таблиц изменений. Значение по умолчанию ― header__. Например, при использовании значения по умолчанию столбец заголовка stream_position получит имя header__stream_position.

Для получения дополнительной информации о таблицах изменений см. раздел Использование таблиц изменений.

Если существует таблица изменений при запуске полной загрузки: выберите один из следующих вариантов, чтобы определить, как должны загружаться таблицы изменения при запуске репликации в режиме «Полная загрузка»:

Удалить и создать таблицу изменений: таблица отбрасывается, вместо нее создается новая.
Удалять старые изменения и сохранять новые изменения в существующей таблице изменений: данные усекаются и добавляются, не затрагивая метаданные таблицы.
Оставлять старые изменения и сохранять новые изменения в существующей таблице изменений: данные и метаданные существующей таблицы изменений не затрагиваются.

Столбцы заголовка таблицы

Столбцы заголовка таблицы изменений предоставляют информацию об операциях обработки изменений, такую как тип операции (например, INSERT (ВСТАВИТЬ)), время фиксации и т. д. Если эта информация не нужна, можно настроить задачу промежуточное хранение так, чтобы создавать таблицы изменений с выбранным столбцами заголовков (или совсем без них), тем самым сокращая использование ресурсов целевой базы данных.

Нельзя удалять дополнительные столбцы или восстанавливать столбцы во время выполнения задачи. Чтобы изменить первоначальный выбор, сначала необходимо остановить задачу, затем выбрать нужные столбцы и в завершение перезагрузить целевые таблицы.

Описание столбцов заголовков см. в разделе Таблицы изменений.

Обработка ошибок

Базовые

Конфликты применения

Дублировать ключ при применении ВСТАВКИ: выберите, какое действие требуется предпринять, когда имеется конфликт с операцией INSERT (ВСТАВИТЬ).

При репликации из источников приложений SaaS поддерживается только действие ОБНОВИТЬ существующую целевую запись.

Игнорировать: задача продолжается, ошибка игнорируется.
ОБНОВИТЬ существующую целевую запись: обновляется целевая запись с тем же первичным ключом, что у ВСТАВЛЕННОЙ исходной записи.
Вносить запись в таблицу исключений (по умолчанию): задача продолжается, ошибка записывается в таблицу исключений.
Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
Остановить задачу: задача останавливается, требуется вмешательство вручную.

Не найдено записей для применения ОБНОВЛЕНИЯ: выберите, какое действие требуется предпринять, когда имеется конфликт с операцией UPDATE (ОБНОВИТЬ).

Эти параметры недоступны при репликации из источников приложений SaaS.

Игнорировать: задача продолжается, ошибка игнорируется.
ВСТАВИТЬ недостающую целевую запись: отсутствующая целевая запись вставляется в целевую таблицу. Когда исходной конечной точкой является Oracle, при выборе этого параметра должна быть включена дополнительная регистрация для всех столбцов исходной таблицы.
Вносить запись в таблицу исключений (по умолчанию): задача продолжается, ошибка записывается в таблицу исключений.
Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
Остановить задачу: задача останавливается, требуется вмешательство вручную.

Дополнительно

Обработка ошибок данных поддерживается только в режиме репликации «Применить изменения» (не «Полная загрузка»).

Ошибки данных

В случае ошибок усечения данных: выберите, что должно произойти в случае усечения одной или нескольких конкретных записей. Можно выбрать из списка одно из следующих действий:

Игнорировать: задача продолжается, ошибка игнорируется.
Вносить запись в таблицу исключений (по умолчанию): задача продолжается, ошибка записывается в таблицу исключений.
Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
Остановить задачу: задача останавливается, требуется вмешательство вручную.

В случае других ошибок данных: выберите, что должно произойти в случае ошибки в одной или нескольких конкретных записях. Можно выбрать из списка одно из следующих действий:

Игнорировать: задача продолжается, ошибка игнорируется.
Вносить запись в таблицу исключений (по умолчанию): задача продолжается, ошибка записывается в таблицу исключений.
Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
Остановить задачу: задача останавливается, требуется вмешательство вручную.

Эскалировать обработку при достижении количества других ошибок данных (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок данных, не связанных с усечением, (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.

Действие при эскалации: выберите, что должно произойти в случае эскалации обработки ошибок. Обратите внимание, что доступные действия зависят от действия, выбранного в раскрывающемся списке Для других ошибок данных, описанном выше.

Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не помещаются на промежуточное хранение (помещенный на промежуточное хранение).
Примечание к информации
Поведение отличается в зависимости от режима обработки изменений:
- В режиме Применение отдельных транзакций последние изменения не помещаются на промежуточное хранение (помещенный на промежуточное хранение).
- В режиме Пакетное оптимизированное применение возможна ситуация, при которой данные не будут помещаться на промежуточное хранение (помещенный на промежуточное хранение) совсем или будут, но только частично (помещенный на промежуточное хранение).
Остановить задачу: задача останавливается, требуется вмешательство вручную.
Вносить запись в таблицу исключений: задача продолжается, запись записывается в таблицу исключений.

Ошибки таблицы

В случае ошибки таблицы; Выберите из списка одно из следующих действий:

Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
Остановить задачу: задача останавливается, требуется вмешательство вручную.

Эскалировать обработку при достижении количества ошибок таблиц (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок таблиц (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.

Действие при эскалации: для ошибок таблиц задается политика эскалации Остановить задачу, ее нельзя изменить.

Конфликты применения

Эти параметры недоступны при репликации из источников приложений SaaS.

Не найдено записей для применения операции DELETE: выберите, какое действие требуется предпринять, когда имеется конфликт с операцией DELETE (УДАЛИТЬ).

Игнорировать: задача продолжается, ошибка игнорируется.
Вносить запись в таблицу исключений: задача продолжается, ошибка записывается в таблицу исключений.
Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
Остановить задачу: задача останавливается, требуется вмешательство вручную.

Эскалировать обработку ошибок при достижении количества конфликтов применения (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество конфликтов применения (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.

Действие при эскалации: выберите, что должно произойти в случае эскалации обработки ошибок.

Вносить запись в таблицу исключений (по умолчанию): задача продолжается, ошибка записывается в таблицу исключений.

Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
Примечание к информации
Поведение отличается в зависимости от режима обработки изменений:
- В режиме Транзакционное применение последние изменения не реплицируются
- В режиме применения Пакетная оптимизация возможна ситуация, когда репликация данных не выполняется или выполняется лишь частично.
Остановить задачу: задача останавливается, требуется вмешательство вручную.

Ошибки среды

Максимальное количество повторных попыток: установите этот флажок, а затем укажите максимальное количество повторных попыток выполнить задачу в случае возникновения исправимых ошибок среды. После того как будет предпринято указанное количество повторных попыток выполнения, задача останавливается, что требует вмешательства вручную.

Чтобы никогда не предпринимать повторных попыток, снимите флажок или задайте значение «0».

Чтобы предпринимать неограниченное количество повторных попыток, задайте значение «-1»
- Интервал между повторными попытками (секунды): используйте счетчик для выбора или ввода количества секунд ожидания перед повторной попыткой выполнения задачи.
  
  Допустимые значения: 1-2000.
Увеличивать интервал повтора при длительных перерывах в работе: установите этот флажок, чтобы увеличить время перед повтором при длительных перерывах в работе. Когда этот параметр включен, удваивается интервал ожидания перед каждой следующей попыткой повтора, пока не будет достигнуто значение Максимальный интервал повтора (и продолжает повторять попытки через указанный максимальный интервал).
- Максимальный интервал повтора (секунды): используйте счетчик для выбора или ввода количества секунд ожидания между повторными попытками выполнения задачи, когда установлен флажок Увеличивать интервал повтора при длительных перерывах в работе. Допустимые значения: 1-2000.

Настройка обработки изменений

Настройка выгрузки транзакций

Следующие параметры настройки доступны независимо от того, какое значение задано для параметра Режим обработки изменений:

Выгрузка выполняемых транзакций на диск, если:

Интеграция данных Qlik Cloud обычно сохраняет данные транзакции в памяти до их полной фиксации в источнике или цели. Однако транзакции, размер которых превышает выделенную память или которые не фиксируются в течение заданного периода времени, выгружаются на диск.
- Общий объем памяти для транзакций превышает (МБ): максимальный размер, который могут занимать все транзакции в памяти и по достижении которого они выгружаются на диск. По умолчанию установлено значение 1024.
- Длительность транзакции превышает (секунды): максимальное время, в течение которого каждая транзакция может оставаться в памяти, по истечении которого она выгружается на диск. Продолжительность отсчитывается от времени начала захвата транзакции в Интеграция данных Qlik Cloud. По умолчанию установлено значение 60.

Прочие настройки

Размер кэша для операторов (количество операторов): максимальное количество подготовленных операторов, которые хранятся на сервере для последующего использования (при применении изменений к цели). Значение по умолчанию — 50. Максимальное значение — 200.
Сохранять данные для восстановления задачи в целевой базе данных: установите этот флажок, чтобы сохранять информацию для восстановления конкретной задачи в целевой базе данных. Когда установлен этот флажок, Data Movement Gateway создает таблицу под именем attrep_txn_state в целевой базе данных. Эта таблица содержит данные транзакции, которые могут использоваться для восстановления задачи в случае повреждения файлов в папке Data Movement GatewayData или неисправности устройства хранения, на котором находится папка Data.

Пакетное оптимизированное применение

Следующие параметры доступны, только когда для параметра Режим применения задано значение Пакетная оптимизация.

Применение пакетных изменений с интервалами:

Больше: минимальный интервал времени ожидания между применением пакетов изменений. Значение по умолчанию — 1.

При увеличении значения Дольше уменьшается частота, с которой применяются изменения к цели, и увеличивается размер пакетов. Это может улучшить производительность при применении изменений к целевым базам данных, которые оптимизированы для обработки больших пакетов.
Меньше: максимальный интервал времени ожидания между применением пакетов изменений (после которого объявляется тайм-аут). Другими словами, максимально допустимая задержка. Значение по умолчанию — 30. Это значение определяет максимальный интервал времени ожидания перед применением изменений, после достижения значения Дольше.

Принудительное применение пакета при превышении объема памяти для обработки (МБ): максимальный объем памяти, который может использоваться для предварительной обработки в режиме применения Пакетная оптимизация. Значение по умолчанию — 500.

Для поддержки максимального размера пакетов задайте самый большой объем памяти, который можно выделить для Data Movement Gateway. Это может улучшить производительность при применении изменений к целевым базам данных, которые оптимизированы для обработки больших пакетов.

Применение отдельных транзакций

Следующие параметры доступны, только когда для параметра Режим применения задано значение Транзакционное.

Минимальное количество изменений для каждой транзакции: минимальное количество изменений, которое должна содержать каждая транзакция. Значение по умолчанию — 1000.

Примечание к информацииData Movement Gateway применяет изменения к цели, когда количество изменений больше или равно значению параметра Минимальное количество изменений для каждой транзакции ИЛИ когда наступает тайм-аут пакета — в зависимости от того, что случится раньше. Так как частота применения изменений к цели регулируется этими двумя параметрами, изменения исходных записей могут быть отражены в целевых записях спустя некоторое время.
Максимальное время для сбора транзакций в пакет до применения (секунды): максимальное время сбора транзакций в пакеты, по истечении которого объявляется тайм-аут. Значение по умолчанию — 1.

Подстановка символов

Можно заменять или удалять исходные символы в целевой базе данных и (или) исходные символы, не поддерживаемые выбранным набором символов.

Все символы должны быть указаны в виде кодовых точек Юникода.
Подстановка символов также будет выполняться в управляющих таблицах.

Недопустимые значения отмечаются красным треугольником в верхнем правом углу ячейки таблицы. При наведении указателя мыши на треугольник отображается сообщение об ошибке.

Любые преобразования на уровне таблицы и глобальные преобразования, определенные для таблицы, будут выполняться после завершения подстановки символов.
Действия подстановки, определенные в таблице Подставлять или удалять исходные символы, выполняются до определения действия подстановки в таблице Неподдерживаемые исходные символы по набору символов.
Подстановка символов не поддерживается для типов данных LOB.

Подстановка или удаление исходных символов

Используйте таблицу Подставлять или удалять исходные символы, чтобы определить замены для конкретных исходных символов. Это может быть полезно, например, когда представление символа в Юникоде отличается на исходной и целевой платформах. Например, на платформе Linux символ «минус» в наборе символов Shift_JIS представлен как U+2212, а в ОС Windows как U+FF0D.

Действия подстановки
Параметр управления	Сделайте это
Определите действия подстановки.	Нажмите кнопку Добавить символ над таблицей. Заполните поля Исходный символ и Целевой символ. Например, чтобы заменить букву «a» букву «e», укажите 0061 и 0065 соответственно. Примечание к информации Чтобы удалить указанный исходный символ, введите 0 в столбце Подставить символ. Повторите действия 1-2, чтобы заменить или удалить другие символы.
Изменение указанного исходного или целевого символа	Нажмите кнопку в конце строки и выберите Изменить.
Удаление записей из таблицы	Нажмите кнопку в конце строки и выберите Удалить.

Замена или удаление исходных символов, не поддерживаемых выбранным набором символов

Используйте таблицу Неподдерживаемые исходные символы по набору символов, чтобы определить один символ подстановки для всех символов, не поддерживаемых выбранным набором символов.

Действия по замене неподдерживаемых символов
Параметр управления	Сделайте это
Определите или измените действие подстановки.	В таблице выберите набор символов в раскрывающемся списке Набор символов. Любые символы, не поддерживаемые выбранным набором символов, будут заменены в цели символом, указанным в шаге 2 ниже. Щелкните в столбце Подставить символ и укажите символ замены. Например, чтобы заменить все неподдерживаемые символы буквой «a», введите 0061. Примечание к информации Чтобы удалить все неподдерживаемые символы, введите 0.
Отключите действие подстановки.	Выберите пустую запись в раскрывающемся списке Набор символов.

Дополнительные параметры

Эти параметры не раскрываются в пользовательском интерфейсе, так как они применяются только в определенных версиях или средах. Поэтому не следует устанавливать их, если на это нет соответствующих указаний службы поддержки Qlik или в документации по продукту.

Чтобы задать параметр, просто скопируйте его в поле Добавить имя признака и нажмите кнопку Добавить. Затем задайте значение или включите параметр в соответствии с полученными инструкциями.

Приложение SaaS

Эти параметры релевантны только при репликации из источников приложений SaaS.

Для начальной загрузки

При перемещении данных из источника приложений SaaS можно настроить порядок выполнения начальной полной загрузки.

Для использования этих параметров требуется Data Movement Gateway версии 2022.11.74 или более поздней.

Использовать кэшированные данные

Этот параметр позволяет использовать кэшированные данные, которые были прочитаны при создании метаданных с установленным флажком Полное сканирование данных.

Это уменьшает накладные расходы, связанные с квотами и использованием API, поскольку данные уже считаны из источника. Все изменения, внесенные после начального сканирования данных, можно получить в режиме «Захват данных изменений (CDC)».

Загрузить данные из источника

Этот параметр выполняет новую загрузку из источника данных. Этот параметр полезен, если:

в последнее время не выполнялось сканирование метаданных;
исходный набор данных имеет небольшой размер и часто изменяется, а вы не хотите сохранять полную историю изменений.

Считывание изменений кажд. (минуты)

Задайте интервал в минутах между сеансами чтения изменений в источнике. Допустимый диапазон от 1 до 1440.

Этот параметр доступен только для задач данных, настроенных с использованием метода обновления Захват изменений данных (CDC).

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!

Оставьте свой отзыв здесь