Настройки репликации

Можно настроить параметры для задачи репликации данных.

• Откройте задачу репликации и нажмите Настройки на панели инструментов.

Откроется диалоговое окно Настройки: <Task-Name>. Доступные настройки описаны ниже.

Общие

На этой вкладке можно изменить режим репликации, настройки промежуточного хранения (если доступно), режим применения изменений к целевому объекту и настройки публикации.

Режим репликации

Доступны следующие режимы репликации:

• Полная загрузка: данные из выбранных исходных таблиц загружаются на целевую платформу, при необходимости создаются целевые таблицы. Полная загрузка выполняется автоматически, когда запускается задача, но ее можно выполнить вручную при необходимости. Полная загрузка вручную потребуется, например, если нужно реплицировать обновления представлений (которые не захватываются во время CDC) или если выполняется репликация из источника данных, который не поддерживает CDC.

• Применить изменения: целевые таблицы обновляются изменениями, вносимыми в исходные таблицы.

• Сохранить изменения: изменения исходных таблиц сохраняются в таблицах изменений (по одной на каждую исходную таблицу).

  Для получения дополнительной информации см. раздел Сохранять изменения.

При работе с Шлюз движения данных изменения захватываются из источника практически в режиме реального времени. При работе без Шлюз движения данных (например, при использовании подписки Qlik Talend Cloud Starter или при выборе Нет) изменения захватываются в соответствии с параметрами планировщика. Для получения дополнительной информации см. раздел Настройки репликации.

Если выбрать Сохранять изменения или Применять изменения, а исходные данные содержат таблицы, не поддерживающие CDC, или представления, будут созданы два конвейера данных. Один конвейер для таблиц, поддерживающих CDC, и другой конвейер для всех остальных таблиц и представлений, поддерживающих только полную загрузку.

Метод загрузки

При репликации в Snowflake можно выбрать один из следующих методов загрузки:

• Массовая загрузка (по умолчанию)

  Если выбрать Массовая загрузка, можно будет настроить параметры загрузки на вкладке Отправка данных.

• Snowpipe Streaming

  Примечание к информации

  Параметр Snowpipe Streaming будет доступен для выбора только при выполнении следующих условий:

  • Включен режим репликации Сохранять изменения без Применять изменения.
  • Механизм аутентификации в коннекторе Snowflake установлен на Пара ключей.
  • Если вы используете Шлюз движения данных, требуется версия 2024.11.45 или более поздняя.

  Если вы выберете Snowpipe Streaming, убедитесь, что вы знакомы с ограничениями и рекомендациями при использовании этого метода. Кроме того, если вы выберете Snowpipe Streaming, а затем включите режим репликации Применять изменения или отключите Сохранять изменения, метод загрузки будет автоматически переключен обратно на Массовая загрузка.

Основные причины выбрать Snowpipe Streaming вместо Массовая загрузка: 

• Меньшая стоимость: поскольку Snowpipe Streaming не использует хранилище Snowflake, эксплуатационные расходы должны быть значительно ниже, хотя это будет зависеть от конкретного варианта использования.

• Уменьшенная задержка: поскольку данные передаются непосредственно в целевые таблицы (а не через промежуточное хранение), репликация из источника данных в целевой объект должна быть быстрее.

Подключение к промежуточной области

При репликации в хранилища данных, перечисленные ниже, необходимо настроить промежуточную область. Перед перемещением данных в хранилище осуществляется их обработка и подготовка в промежуточной области.

• Amazon Redshift
• Microsoft Fabric
• Databricks

Выберите существующую промежуточную область или нажмите Создать, чтобы определить новую промежуточную область, и следуйте инструкциям в разделе Подключение к облачному хранилищу.

Чтобы изменить параметры подключения, нажмите Изменить. Чтобы проверить подключение (рекомендуется), нажмите Проверка соединения.

Для получения дополнительной информации о том, какие промежуточные области поддерживаются для тех или иных хранилищ данных, см. столбец Поддерживается как промежуточная область в таблице Сценарии использования и поддерживаемые версии целевых платформ.

Режим применения изменений

Изменения применяются к целевым таблицам одним из следующих методов:

• Пакетная оптимизация: это значение по умолчанию. Когда установлен этот флажок, изменения применяются пакетами. Происходит предварительная обработка, чтобы сгруппировать транзакции в пакеты наиболее эффективным способом.
• Транзакционное: выберите этот параметр, чтобы применить каждую транзакцию отдельно, в том порядке, в котором она была совершена. В этом случае для всех таблиц обеспечивается строгая целостность данных.

Настройки публикации

• Опубликовать в каталоге

  Выберите этот параметр, чтобы опубликовать эту версию данных в Каталоге как набор данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи.

  Для получения дополнительной информации о каталоге см. Изучение данных с помощью инструментов каталогизации.

Настройки прокси при использовании Шлюз движения данных

• При использовании Data Movement gateway подключаться через прокси к

  При использовании Шлюз движения данных можно подключаться к целевой платформе и промежуточной платформе (области) через прокси.

  Для получения дополнительной информации о настройке Шлюз движения данных для использования прокси-сервера см. Настройка клиента Qlik Cloud и прокси-сервера.

  • Целевая платформа

    Примечание к информацииДоступно при использовании Snowflake и Databricks.

  • Промежуточная платформа

    Примечание к информацииДоступно при использовании Google BigQuery, Amazon Redshift, Microsoft Fabric и Databricks.

Отправка данных

Эта вкладка будет отображаться только при репликации в целевое хранилище данных или Kafka. Кроме того, настройки на этой вкладке будут отличаться в зависимости от выбранного целевого объекта.

Актуально для всех целевых хранилищ данных

Максимальный размер файла

Максимальный размер, по достижении которого файл закрывается. Для загрузки файлов меньшего размера может требоваться меньше времени (в зависимости от сети), благодаря чему повышается быстродействие при использовании вместе с параметром «Параллельное выполнение». Однако, как правило, не рекомендуется загромождать базу данных маленькими файлами.

Актуально только для целевого объекта Snowflake

На вкладке Общие можно выбрать, загружать ли данные в Snowflake с помощью Массовой загрузки или Snowpipe Streaming. Если выбран Snowpipe Streaming, вкладка Отправка данных не будет отображаться. Если выбрана Массовая загрузка, будут доступны следующие настройки:

• Максимальный размер файла (МБ): актуально для начальной полной загрузки и CDC. Максимальный размер, которого может достичь файл, прежде чем он будет загружен в целевой объект. Если возникают проблемы с производительностью, попробуйте настроить этот параметр.

• Количество файлов для загрузки в пакете: актуально только для начальной полной загрузки. Количество файлов для загрузки в одном пакете. Если возникают проблемы с производительностью, попробуйте настроить этот параметр.

Описание методов загрузки Массовая загрузка и Snowpipe Streaming см. в разделе Общие.

Актуально только для целевого объекта Kafka

Свойства сообщения

Сжатие

При необходимости выберите один из доступных методов сжатия (Snappy или Gzip). По умолчанию используется Нет.

Публикация сообщения с данными

Выберите один из следующих параметров Опубликовать данные в:

• Конкретная тема: публикует данные в одной теме. Введите имя темы или используйте кнопку обзора, чтобы выбрать нужную тему.

• Отдельная тема для каждой таблицы: публикует данные в нескольких темах, соответствующих именам исходных таблиц.

  Имя целевого topic состоит из имени исходной схемы и имени исходной таблицы, разделенных точкой (например, dbo.Employees). Формат имени целевого topic важен, так как вам потребуется подготовить эти topic заранее.

Для получения информации о переопределении этой настройки на уровне набора данных см. Переопределение настроек задачи для отдельных наборов данных при публикации в Kafka

Ключ сообщения

Выберите один из доступных параметров.

• Столбцы первичного ключа: для каждого сообщения ключ сообщения будет содержать значение столбца первичного ключа.

  Если в качестве стратегии секционирования выбрано По ключу сообщения, сообщения, состоящие из одного и того же значения первичного ключа, будут записаны в одну и ту же секцию.

• Имя схемы и таблицы: для каждого сообщения ключ сообщения будет содержать комбинацию имени схемы и таблицы (например, dbo+Employees).

  Если в качестве стратегии секционирования выбрано По ключу сообщения, сообщения, состоящие из одного и того же имени схемы и таблицы, будут записаны в одну и ту же секцию.

• Нет: создает сообщения без ключа сообщения.

Для получения информации о переопределении этой настройки на уровне набора данных см. Переопределение настроек задачи для отдельных наборов данных при публикации в Kafka

Стратегия секционирования

Выберите Случайный или По ключу сообщения. Если вы выберете Случайный, каждое сообщение будет записано в случайно выбранную секцию. Если вы выберете По ключу сообщения, сообщения будут записаны в секции на основе выбранного ключа сообщения (описано выше).

Публикация сообщения с метаданными

Стратегия именования субъектов

Выберите одну из доступных стратегий именования субъектов.

• Имя схемы и таблицы (по умолчанию)
• Имя темы
• Имя записи
• Имя темы и записи

Для получения дополнительной информации о стратегиях именования субъектов Confluent см. Стратегия именования субъектов

Режим совместимости субъектов

Выберите один из следующих режимов совместимости из раскрывающегося списка Режим совместимости субъектов:

• Использовать значения по умолчанию реестра схем: извлекает уровень совместимости из конфигурации сервера реестра схем.

• Обратная — только последняя схема: новые схемы могут читать соответствующие данные и данные, созданные только последней зарегистрированной схемой.

• Обратная транзитивная — все предыдущие схемы: новые схемы могут читать данные, созданные всеми ранее зарегистрированными схемами.

• Прямая — только последняя схема: последняя зарегистрированная схема может читать данные, созданные новой схемой.

• Прямая транзитивная — все предыдущие схемы: все ранее зарегистрированные схемы могут читать данные, созданные новой схемой.

• Полная — только последняя схема: новая схема обратно и прямо совместима с последней зарегистрированной схемой.

• Полная транзитивная — все предыдущие схемы: новая схема обратно и прямо совместима со всеми ранее зарегистрированными схемами.

• Нет

Использовать прокси для подключения к реестру схем Confluent

Включите, если ваш Шлюз движения данных настроен на использование прокси-сервера.

Атрибуты сообщения

Можно указать настраиваемые атрибуты сообщения, которые будут переопределять атрибуты сообщения по умолчанию. Это полезно, если потребительскому приложению необходимо обработать сообщение в определенном формате.

Настраиваемые атрибуты сообщения могут быть определены как на уровне задачи, так и на уровне таблицы. Если атрибуты определены как на уровне задачи, так и на уровне таблицы, атрибуты сообщения, определенные для таблицы, будут иметь приоритет над атрибутами, определенными для задачи.

Для получения информации о переопределении атрибутов сообщения на уровне набора данных см. Переопределение настроек задачи для отдельных наборов данных при публикации в Kafka

Общие правила и рекомендации по использованию

При определении настраиваемого сообщения важно учитывать правила и рекомендации по использованию, перечисленные ниже.

Имена разделов

Применяются следующие правила именования:

• Имена разделов должны начинаться с символов a-z, A-Z или _ (подчеркивание), а затем могут следовать любые из следующих символов: a-z, A-Z, 0-9, _
• За исключением разделов Имя записи и Имя ключа (которые не заканчиваются косой чертой), удаление косой черты из имен разделов приведет к сглаживанию иерархии связанного раздела (см. Косые черты ниже).
• Все имена разделов, кроме Имя записи и Имя ключа, могут быть удалены (см. Удаление ниже)

• Имена разделов Имя данных и Включить запись до данных не могут быть удалены одновременно

• Имена разделов Имя данных и Включить запись до данных не могут быть одинаковыми

Косые черты

Некоторые имена разделов в пользовательском интерфейсе заканчиваются косой чертой (например, beforeData/). Цель косой черты — поддерживать иерархию различных разделов в сообщении. Если косая черта удалена, произойдет следующее:

• Иерархическая структура этого раздела будет сглажена, что приведет к удалению имени раздела из сообщения
• Имя раздела будет добавлено в качестве префикса к фактическим метаданным либо напрямую, либо с использованием символа-разделителя (например, подчеркивания), который вы добавили к имени

Пример сообщения с данными, когда headers/ указано с косой чертой:

		"message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
                       "beforeData": null,
		        "headers": {
			"operation": "INSERT",
			"changeSequence": "2018100811484900000000233",

Пример сообщения с данными, когда headers_ указано с подчеркиванием вместо косой черты:

		"message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
                       "beforeData": null,                     
                       "headers_operation": "INSERT",
			"headers_changeSequence": "2018100811484900000000233",

Удаление

Удаление имени раздела из сообщения приведет к сглаживанию иерархической структуры этого раздела. В результате все данные этого раздела появятся сразу после содержимого предыдущего раздела.

Пример сообщения с данными с именем раздела headers:

	        "message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
		        "headers": {
			"operation": "INSERT",
			"changeSequence": "2018100811484900000000233",

Пример сообщения с данными без имени раздела headers:

	        "message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
                       "beforeData": null,                   
                       "operation": "INSERT",
			"changeSequence": "2018100811484900000000233",

Переменные

Вы можете добавлять переменные к именам, нажимая кнопку в конце строки. Доступны следующие переменные:

• SERVER_NAME — имя хоста сервера Шлюз движения данных
• TARGET_TABLE_NAME — имя таблицы
• TARGET_TABLE_OWNER — владелец таблицы
• TASK_NAME — имя задачи данных

Определение настраиваемых атрибутов сообщения

Чтобы определить настраиваемый формат сообщения, включите Использовать настраиваемые параметры и настройте параметры, как описано в таблице ниже.

Чтобы вернуться к атрибутам сообщения по умолчанию, выключите Использовать настраиваемые параметры.

Дополнительные настройки

• Максимальный размер сообщения

  В поле Максимальный размер сообщения укажите максимальный размер сообщений, на получение которых настроен(ы) брокер(ы) (message.max.bytes). Задача данных не будет отправлять сообщения, размер которых превышает максимальный.

Метаданные

Основные

• Схема целевой таблицы

  Схема в целевом объекте, в которую будут реплицированы исходные таблицы, если вы не хотите использовать схему исходной таблицы (или если в исходной базе данных нет схемы).

  Примечание к информацииПри репликации в целевой объект Oracle схемой целевой таблицы по умолчанию является «system». Также обратите внимание, что если вы оставите это поле пустым (в этом случае будет использоваться исходная схема), вы должны убедиться, что исходная схема уже существует в целевом объекте. В противном случае задача завершится сбоем.
  Примечание к информацииМаксимально допустимая длина имени схемы составляет 128 символов.

Сопоставление столбцов JSON

Сопоставите совместимые столбцы JSON источника со столбцами JSON цели

В этом случае столбцы JSON в источнике будут автоматически сопоставлены со столбцами JSON в цели.

Состояние и видимость этой опции определяется следующими факторами:

• Новые задачи: Эта опция включена по умолчанию, если и источник, и цель поддерживают тип данных JSON.

• Существующие задачи: Эта опция отключена по умолчанию, если и источник, и цель поддерживают тип данных JSON. Это условие используется, чтобы сохранить обратную совместимость с последующими процессами, например преобразованиями данных, в которых ожидаются целевые данные в формате STRING (что является устаревшим поведением). Можно оставить эту опцию отключенной. Можно также изменить нижестоящие процессы так, чтобы обеспечить совместимость с форматом JSON, после чего включить эту опцию.

• Новые и существующие задачи: Если тип данных JSON поддерживается только в источнике, эта опция не отображается. Если поддержка JSON появится в цели позже, эта опция появится, но будет отключенной. Это условие используется, чтобы сохранить обратную совместимость с последующими процессами, например преобразованиями данных, в которых ожидаются целевые данные в формате STRING (что является устаревшим поведением).

Настройки LOB

Доступные настройки LOB различаются в зависимости от выбранного целевого объекта репликации. Поскольку целевые хранилища данных не поддерживают неограниченные размеры столбцов LOB, этот параметр будет недоступен при репликации в хранилище данных.

Настройки LOB для целевых объектов, не являющихся хранилищами данных

• Не включать столбцы LOB: выберите этот параметр, если вы не хотите, чтобы исходные столбцы LOB реплицировались.

• Ограничить размер столбца LOB до (КБ): это значение по умолчанию. Выберите этот параметр, если вам нужно реплицировать только небольшие LOB или если целевая платформа не поддерживает неограниченный размер LOB. Максимально допустимое значение для этого поля — 102400 КБ (100 МБ).

  При репликации небольших LOB этот параметр более эффективен, чем параметр Не ограничивать размер столбца LOB, поскольку LOB реплицируются «встроенно», а не через «поиск» из источника. Во время обработки изменений небольшие LOB обычно реплицируются через «поиск» из источника.

  Ограничение применяется к количеству байтов LOB, считываемых из исходной конечной точки. Для столбцов BLOB целевой размер BLOB будет точно соответствовать указанному ограничению. Для столбцов CLOB и NCLOB целевой размер LOB может отличаться от указанного ограничения, если исходный и целевой LOB не имеют одинакового набора символов. В этом случае задача данных выполнит преобразование набора символов, что может привести к расхождению между размерами исходного и целевого LOB.

  Поскольку значение «Ограничить размер LOB до» указано в байтах, размер следует рассчитывать по следующим формулам:

  • BLOB: длина самого большого LOB.
  • NCLOB: длина самого длинного TEXT в символах, умноженная на два (поскольку каждый символ обрабатывается как двухбайтовый). Если данные содержат 4-байтовые символы, умножьте на четыре.
  • CLOB: длина самого длинного TEXT в символах (поскольку каждый символ обрабатывается как символ UTF8). Если данные содержат 4-байтовые символы, умножьте на два.
  Примечание к информации

  • Любые LOB, размер которых превышает указанный, будут усечены.
  • Во время обработки изменений из источника Oracle встроенные BLOB реплицируются встроенно.
  • Изменения этой настройки повлияют на существующие таблицы только после их перезагрузки.

• Не ограничивать размер столбца LOB: если этот параметр выбран, столбцы LOB будут реплицироваться независимо от размера.

  Примечание к информацииРепликация столбцов LOB может повлиять на производительность. Это особенно верно в случае больших столбцов LOB, которые требуют от задачи репликации выполнения поиска в исходной таблице для получения значения исходного LOB.

  • Оптимизировать, если размер LOB меньше: выберите этот параметр, если вам нужно реплицировать как маленькие, так и большие LOB, и большинство LOB маленькие.

    Примечание к информации

    Этот параметр поддерживается только со следующими источниками и целевыми объектами:

    • Источники: Oracle, Microsoft SQL server, MySQL, PostgreSQL и IBM DB2 for LUW

    • Целевые объекты: Oracle, Microsoft SQL Server, MySQL, PostgreSQL.

    Если этот параметр выбран, во время полной загрузки маленькие LOB будут реплицироваться «встроенно» (что более эффективно), а большие LOB будут реплицироваться путем выполнения поиска в исходной таблице. Однако во время обработки изменений как маленькие, так и большие LOB будут реплицироваться путем выполнения поиска в исходной таблице.

    Примечание к информации

    Если этот параметр выбран, задача репликации проверит все размеры LOB, чтобы определить, какие из них передавать «встроенно». LOB, размер которых превышает указанный, будут реплицироваться в режиме полного LOB.

    Поэтому, если вы знаете, что большинство LOB больше указанного значения, предпочтительнее использовать параметр Реплицировать неограниченные столбцы LOB.

  • Размер фрагмента (КБ): при необходимости измените размер фрагментов LOB для использования при репликации данных в целевой объект. Размер фрагмента по умолчанию должен быть достаточным в большинстве случаев, но если вы столкнулись с проблемами производительности, настройка размера может улучшить производительность.

    Примечание к информации

    В некоторых базах данных проверка типа данных происходит при вставке или обновлении данных. В таких случаях репликация структурированных типов данных (например, XML, JSON, GEOGRAPHY и т. д.) может завершиться сбоем, если данные больше указанного размера фрагмента.

Настройки Lob для поддерживаемых целевых хранилищ данных

• Включить столбцы LOB и ограничить размер столбца до (КБ):

  Вы можете включить столбцы LOB в задачу и установить максимальный размер LOB. LOB, размер которых превышает максимальный, будут усечены.

Дополнительно

Настройки управляющей таблицы

• Схема управляющих таблиц: укажите целевую схему для управляющих таблиц, если вы не хотите, чтобы они создавались в исходной схеме (по умолчанию) или в целевой схеме.

  Примечание к информацииМаксимально допустимая длина имени схемы составляет 128 символов.
• Создать целевые управляющие таблицы в табличном пространстве: ​ Когда в качестве цели репликации используется коннектор Oracle, укажите табличное пространство, в котором требуется создать целевые управляющие таблицы. Если оставить это поле пустым, таблицы будут создаваться в табличном пространстве по умолчанию в целевой базе данных.
• Создать индексы для целевых управляющих таблиц в табличном пространстве: Когда в качестве цели репликации используется коннектор Oracle, укажите табличное пространство, в котором требуется создать индексы управляющих таблиц. Если оставить это поле пустым, индексы будут создаваться в том же табличном пространстве, что и управляющие таблицы.
• Временной интервал истории репликации (минуты): длина каждого временного интервала в управляющей таблице История репликации. По умолчанию 5 минут.

Выбор управляющей таблицы

Применить изменения

Эти настройки доступны только при включенном режиме репликации Применять изменения.

Основные

Выберите тип изменений DDL для применения к целевому объекту

Следующие параметры определяют, будут ли операции DDL, выполняемые с соответствующей исходной таблицей, также выполняться с целевой таблицей.

• Удалить таблицу: выберите, чтобы удалить целевую таблицу при удалении исходной таблицы.

  Примечание к информацииНе поддерживается, если целевой платформой является Kafka.

• Усечь таблицу: выберите, чтобы усечь целевую таблицу при усечении исходной таблицы.

  Примечание к информацииНе поддерживается, если целевой платформой является Microsoft Fabric.

• Изменить таблицу: выберите, чтобы изменить целевую таблицу при изменении исходной таблицы.

  Примечание к информацииПереименование таблицы не поддерживается, если целевой платформой является Kafka.

Настройка обработки изменений

• Применять пакетные изменения к нескольким таблицам одновременно: выбор этого параметра может улучшить производительность при применении изменений из нескольких исходных таблиц. 

  Примечание к информации

  Этот параметр поддерживается только в следующих случаях:

  • Для режима применения изменений установлено значение Оптимизированный пакет. Для получения дополнительной информации см. Настройки репликации.
  • Целевые объекты репликации не являются MySQL, PostgreSQL, Oracle и Google BigQuery.

  • Максимальное количество таблиц: максимальное количество таблиц для одновременного применения пакетных изменений. По умолчанию — пять, максимум — 50, минимум — два.

Если включен параметр Применять пакетные изменения к нескольким таблицам одновременно, применяются следующие ограничения:

• Политика обработки ошибок задачи по умолчанию не изменится для ошибок среды и таблицы, но значения по умолчанию для ошибок данных и конфликтов применения будут следующими:

  • Ошибки данных:
    • Ошибки усечения данных: записать запись в таблицу исключений
    • Другие ошибки данных: приостановить таблицу
  • Ошибки конфликтов применения:
    • Удаления: игнорировать запись

    • Вставки: ОБНОВИТЬ существующую целевую запись

      Примечание к информацииЭто не относится к целевому объекту Snowflake (поскольку Snowflake не поддерживает первичные ключи).
    • Обновления: игнорировать запись
  • Действие эскалации:
    • Действие эскалации как для ошибок данных, так и для конфликтов применения не поддерживается.
  • Управляющая таблица attrep_apply_exception не поддерживается.
  • Для ошибок данных:
    • Параметр Записать запись в таблицу исключений доступен только для ошибок усечения данных.
    • Параметр Игнорировать отсутствует.
  • Для конфликтов применения:
    • Параметр Записать запись в таблицу исключений недоступен.
    • Параметр Игнорировать доступен только для конфликта применения Запись не найдена для применения ОБНОВЛЕНИЯ.

См. также: Обработка ошибок.

• Ограничить количество изменений, применяемых в одном операторе обработки изменений, до: чтобы ограничить количество изменений, применяемых в одном операторе обработки изменений, установите этот флажок, а затем при необходимости измените значение по умолчанию. Значение по умолчанию — 10 000.

  Примечание к информацииЭтот параметр поддерживается только со следующими целевыми объектами: MySQL, PostgreSQL, Oracle и Google BigQuery.

Дополнительно

См. Настройка обработки изменений.

Сохранять изменения

Эти настройки доступны только при включенном режиме репликации Сохранять изменения.

Основные

Параметры DDL

Выберите один из следующих параметров, чтобы определить, как обрабатывать операции DDL с исходными таблицами:

• Применить к таблице изменений: операции DDL с исходными таблицами (например, добавление столбца) будут применяться только к соответствующим таблицам изменений.
• Игнорировать: все операции DDL с исходными таблицами будут игнорироваться.

Дополнительно

При обновлении

Выберите Сохранять образ до и после, чтобы сохранить как данные до UPDATE, так и данные после UPDATE. Если не выбрано, будут сохранены только данные после UPDATE.

Создание таблицы изменений

В следующем разделе описаны параметры, доступные при сохранении изменений в таблицах изменений.

• Суффикс: укажите строку для использования в качестве суффикса для всех таблиц изменений. Значение по умолчанию — __ct. Имена таблиц изменений — это имя целевой таблицы с добавленным суффиксом. Так, например, при использовании значения по умолчанию имя таблицы изменений будет HR__ct.
• Префикс столбца заголовка: укажите строку для использования в качестве префикса для всех столбцов заголовка таблицы изменений. Значение по умолчанию — header__. Например, при использовании значения по умолчанию столбец заголовка stream_position будет называться header__stream_position.

Для получения дополнительной информации о таблицах изменений см. Использование таблиц изменений.

Если таблица изменений существует при запуске полной загрузки: выберите один из следующих вариантов, чтобы определить, как загружать таблицы изменений при запуске репликации полной загрузки:

• Удалить и создать таблицу изменений: таблица удаляется, и на ее месте создается новая таблица.

• Удалить старые изменения и сохранить новые изменения в существующей таблице изменений: данные усекаются и добавляются без влияния на метаданные таблицы.

  Примечание к информацииНе поддерживается, если целевой платформой является Microsoft Fabric.
• Сохранить старые изменения и сохранить новые изменения в существующей таблице изменений: данные и метаданные существующей таблицы изменений не затрагиваются.

Столбцы заголовка таблицы

Столбцы заголовка таблицы изменений предоставляют информацию об операциях обработки изменений, такую как тип операции (например, INSERT (ВСТАВИТЬ)), время фиксации и т. д. Если эта информация не нужна, можно настроить задачу перемещение так, чтобы создавать таблицы изменений с выбранным столбцами заголовков (или совсем без них), тем самым сокращая использование ресурсов целевой базы данных.

Описание столбцов заголовка см. в разделе Таблицы изменений.

Обработка ошибок

Основные

Конфликты применения

Дублирующийся ключ при применении INSERT: выберите, какое действие предпринять при конфликте с операцией INSERT.

• Игнорировать: задача продолжается, и ошибка игнорируется.

• ОБНОВИТЬ существующую целевую запись: целевая запись с тем же первичным ключом, что и вставленная исходная запись, обновляется.

• Записать запись в таблицу исключений (по умолчанию): задача продолжается, и ошибка записывается в таблицу исключений.

• Приостановить таблицу: задача продолжается, но данные из таблицы с ошибочной записью переводятся в состояние ошибки, и ее данные не реплицируются.

• Остановить задачу: задача останавливается, и требуется ручное вмешательство.

Запись не найдена для применения ОБНОВЛЕНИЯ: выберите, какое действие предпринять при конфликте с операцией UPDATE.

• Игнорировать: задача продолжается, и ошибка игнорируется.

• ВСТАВИТЬ отсутствующую целевую запись: отсутствующая целевая запись будет вставлена в целевую таблицу. Если исходной конечной точкой является Oracle, выбор этого параметра требует включения дополнительного ведения журнала для всех столбцов исходной таблицы.

• Записать запись в таблицу исключений (по умолчанию): задача продолжается, и ошибка записывается в таблицу исключений.

• Приостановить таблицу: задача продолжается, но данные из таблицы с ошибочной записью переводятся в состояние ошибки, и ее данные не реплицируются.

• Остановить задачу: задача останавливается, и требуется ручное вмешательство.

Дополнительно

Ошибки данных

В случае ошибок усечения данных: выберите, что должно произойти в случае усечения одной или нескольких конкретных записей. Можно выбрать из списка одно из следующих действий:

• Игнорировать: задача продолжается, ошибка игнорируется.
• Вносить запись в таблицу исключений (по умолчанию): задача продолжается, ошибка записывается в таблицу исключений.
• Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
• Остановить задачу: задача останавливается, требуется вмешательство вручную.

В случае других ошибок данных: выберите, что должно произойти в случае ошибки в одной или нескольких конкретных записях. Можно выбрать из списка одно из следующих действий:

• Игнорировать: задача продолжается, ошибка игнорируется.
• Вносить запись в таблицу исключений (по умолчанию): задача продолжается, ошибка записывается в таблицу исключений.
• Приостановить таблицу: задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются.
• Остановить задачу: задача останавливается, требуется вмешательство вручную.

Эскалировать обработку при достижении количества других ошибок данных (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок данных, не связанных с усечением, (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.

Действие при эскалации: выберите, что должно произойти в случае эскалации обработки ошибок. Обратите внимание, что доступные действия зависят от действия, выбранного в раскрывающемся списке Для других ошибок данных, описанном выше.

• Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не помещаются на промежуточное хранение (перенесено).

  Примечание к информации

  Поведение отличается в зависимости от режима обработки изменений:

  • В режиме Применение отдельных транзакций последние изменения не помещаются на промежуточное хранение (перенесено).

  • В режиме Пакетное оптимизированное применение возможна ситуация, при которой данные не будут помещаться на промежуточное хранение (перенесено) совсем или будут, но только частично (перенесено).

• Остановить задачу: задача останавливается, требуется вмешательство вручную.
• Вносить запись в таблицу исключений: задача продолжается, запись записывается в таблицу исключений.

Ошибки таблицы

Количество повторных попыток до возврата ошибки таблицы

Эта опция позволяет контролировать, когда будет активирована политика обработки ошибок таблицы. По умолчанию, после обнаружения ошибки таблицы, таблица будет приостановлена или задача будет остановлена (в соответствии с выбранным действием) после трех повторных попыток. Иногда ошибка таблицы будет возникать из-за планового обслуживания приложения SaaS. В этих случаях количества повторных попыток по умолчанию может быть недостаточно для завершения обслуживания до активации политики обработки ошибок таблицы. Это также зависит от интервала планирования задачи, поскольку повторная попытка будет выполняться каждый раз, когда задача запускается. Так, например, если вы запланируете выполнение задачи каждый час, и приложение SaaS будет отключено для обслуживания как только задача начнет выполняться, три повторные попытки по умолчанию позволят приложению SaaS оставаться в автономном режиме до трех часов без активации политики обработки ошибок таблицы. Более длительное окно обслуживания потребует от вас увеличения количества повторных попыток (или изменения расписания), чтобы предотвратить активацию политики обработки ошибок таблицы.

Подводя итог, если вы знаете, что ваше приложение SaaS проходит периодическое обслуживание, лучшей практикой является увеличение количества повторных попыток в соответствии с расписанием, чтобы обслуживание могло быть завершено без активации политики обработки ошибок таблицы.

При возникновении ошибки таблицы: Выберите из списка одно из следующих действий:

• Приостановить таблицу (по умолчанию): задача продолжается, но данные из таблицы с записью, которая вызвала ошибку, переводятся в состояние ошибки и не реплицируются
• Остановить задачу: задача останавливается, требуется вмешательство вручную.

Эскалировать обработку ошибок при достижении количества ошибок таблиц (для каждой таблицы): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество ошибок таблиц (в одной таблице) достигает заданного значения. Допустимые значения: 1-10 000.

Действие эскалации: для ошибок таблиц задается политика эскалации Остановить задачу , ее нельзя изменить.

Конфликты применения

Запись не найдена для применения УДАЛЕНИЯ: выберите, какое действие предпринять при конфликте с операцией DELETE.

• Игнорировать: задача продолжается, и ошибка игнорируется.
• Записать запись в таблицу исключений: задача продолжается, и запись записывается в таблицу исключений.
• Приостановить таблицу: задача продолжается, но данные из таблицы с ошибочной записью переводятся в состояние ошибки, и ее данные не реплицируются.
• Остановить задачу: задача останавливается, и требуется ручное вмешательство.

Эскалировать обработку ошибок, когда количество конфликтов применения достигает (на таблицу): установите этот флажок, чтобы эскалировать обработку ошибок, когда количество конфликтов применения (на таблицу) достигает указанного значения. Допустимые значения: 1–10 000.

Действие эскалации: выберите, что должно произойти при эскалации обработки ошибок:

• Записать запись в таблицу исключений (по умолчанию): задача продолжается, и ошибка записывается в таблицу исключений.

• Приостановить таблицу: задача продолжается, но данные из таблицы с ошибочной записью переводятся в состояние ошибки, и ее данные не реплицируются.

  Примечание к информации

  Поведение различается в зависимости от режима обработки изменений:

  • В режиме Транзакционное применение последние изменения не будут реплицированы

  • В режиме Оптимизированное пакетное применение возможна ситуация, когда репликации данных не будет или репликация данных будет частичной.

• Остановить задачу: задача останавливается, и требуется ручное вмешательство.

Ошибки среды

• Максимальное количество повторных попыток: установите этот флажок, а затем укажите максимальное количество повторных попыток выполнить задачу в случае возникновения исправимых ошибок среды. После того как будет предпринято указанное количество повторных попыток выполнения, задача останавливается, что требует вмешательства вручную.

  Чтобы никогда не предпринимать повторных попыток, снимите флажок или задайте значение «0».

  Чтобы предпринимать неограниченное количество повторных попыток, задайте значение «-1»

  • Интервал между повторными попытками (секунды): используйте счетчик для выбора или ввода количества секунд ожидания перед повторной попыткой выполнения задачи.

    Допустимые значения: 1-2000.

• Увеличивать интервал повтора при длительных перерывах в работе: установите этот флажок, чтобы увеличить время перед повтором при длительных перерывах в работе. Когда этот параметр включен, удваивается интервал ожидания перед каждой следующей попыткой повтора, пока не будет достигнуто значение Максимальный интервал повтора (и продолжает повторять попытки через указанный максимальный интервал).
  • Максимальный интервал повтора (секунды): используйте счетчик для выбора или ввода количества секунд ожидания между повторными попытками выполнения задачи, когда установлен флажок Увеличивать интервал повтора при длительных перерывах в работе. Допустимые значения: 1-2000.

Настройка обработки изменений

Настройка выгрузки транзакций

• Выгружать выполняемую транзакцию на диск, если:

  Задача репликации обычно хранит данные транзакций в памяти до тех пор, пока они не будут полностью зафиксированы в источнике и/или целевом объекте. Однако транзакции, размер которых превышает выделенную память или которые не фиксируются в течение указанного времени, будут выгружены на диск.

  • Размер памяти транзакции превышает (МБ): максимальный размер, который все транзакции могут занимать в памяти, прежде чем будут выгружены на диск. Значение по умолчанию — 1024.
  • Продолжительность транзакции превышает (секунды): максимальное время, в течение которого каждая транзакция может оставаться в памяти, прежде чем будет выгружена на диск. Продолжительность рассчитывается с момента, когда задача репликации начала захват транзакции. Значение по умолчанию — 60.

Настройка пакетов

Настройки на этой вкладке определяются режимом Применять изменения.

Настройки, доступные только в режиме «Режим применения» — «Оптимизированный пакет»

• Применять пакетные изменения с интервалами:

• Больше чем: минимальное время ожидания между каждым применением пакетных изменений. Значение по умолчанию — 1.

  Увеличение значения Больше чем уменьшает частоту применения изменений к целевому объекту, увеличивая при этом размер пакетов. Это может улучшить производительность при применении изменений к целевым базам данных, оптимизированным для обработки больших пакетов.

• Меньше чем: максимальное время ожидания между каждым применением пакетных изменений (до объявления тайм-аута). Другими словами, максимально допустимая задержка. Значение по умолчанию — 30. Это значение определяет максимальное время ожидания перед применением изменений после достижения значения Больше чем.

• Принудительно применить пакет, когда память обработки превышает (МБ): максимальный объем памяти для предварительной обработки в режиме оптимизированного пакетного применения. Значение по умолчанию — 500.

  Для максимального размера пакета установите это значение на максимальный объем памяти, который вы можете выделить для задачи репликации. Это может улучшить производительность при применении изменений к целевым базам данных, оптимизированным для обработки больших пакетов.

Настройки, доступные только в режиме «Режим применения» — «Транзакционный»

Следующие настройки применимы только при работе в режиме «Транзакционный». Обратите внимание, что «Транзакционный» — это единственный доступный режим применения (и поэтому не выбираемый) при репликации в Snowflake, когда для метода загрузки установлено значение Snowpipe Streaming.

• Минимальное количество изменений для каждой транзакции: минимальное количество изменений, которое должна содержать каждая транзакция. Значение по умолчанию — 1000.

  Примечание к информации

  Изменения будут применены к цели, когда количество изменений больше или равно значению параметра Минимальное количество изменений для каждой транзакции ИЛИ когда наступает значение Максимальное время для сбора транзакций в пакет до применения (секунды), описанное ниже, — в зависимости от того, что случится раньше. Так как частота применения изменений к цели регулируется этими двумя параметрами, изменения исходных записей могут быть отражены в целевых записях спустя некоторое время.

• Максимальное время для сбора транзакций в пакет до применения (секунды): максимальное время сбора транзакций в пакеты, по истечении которого объявляется тайм-аут. Значение по умолчанию — 1.

Интервал

Настройки при использовании коннекторов SAP ODP и SaaS-приложений (Lite)

• Считывание изменений кажд. (минуты)

  Интервал между чтением изменений из источника в минутах. Допустимый диапазон от 1 до 1440.

  Примечание к информации

  Этот параметр доступен только в том случае, если задача данных определена с помощью:

  • Шлюз движения данных
  • Любой из следующих источников:
    • SaaS-приложение только через коннекторы Lite
    • SAP ODP
  • Метод обновления Применить изменения или Сохранить изменения

Настройки при использовании коннектора SAP OData

Проверить на наличие изменений

• В соответствии с интервалом извлечения дельты:Если выбран этот параметр, задача данных проверяет изменения в соответствии с интервалом извлечения дельты.

  Примечание к информацииИнтервал будет начинаться после каждого «раунда». Раунд можно определить как время, необходимое задаче данных для считывания изменений из исходных таблиц и отправки их в целевую (в виде одной транзакции). Длительность раунда варьируется в зависимости от количества таблиц и изменений. Таким образом, если вы укажете интервал в 10 минут, а раунд занимает 4 минуты, то фактическое время между проверками изменений составит 14 минут.

  • Интервал извлечения дельты: Частота, с которой дельта-изменения будут извлекаться из вашей системы. По умолчанию каждые 60 секунд.

• По расписанию: Если выбран этот параметр, задача данных извлечет дельта-изменения один раз, а затем остановится. Затем она продолжит выполняться по расписанию.

  Примечание к информацииЭтот параметр актуален только если интервал между циклами CDC составляет 24 часа или более.

  Для получения информации о планировании:

  • «Задачи Replicate данных» в проекте репликации, см. Планирование задач

Различные настройки

Размер кэша операторов (количество операторов)

Максимальное количество подготовленных операторов для хранения на сервере для последующего выполнения (при применении изменений к целевому объекту). По умолчанию 50. Максимум 200.

DELETE и INSERT при обновлении столбца первичного ключа

Этот параметр требует включения полного дополнительного ведения журнала в исходной базе данных.

Отправлять надгробие при удалении

Если этот параметр выбран, будет заполнен только ключ сообщения; само сообщение будет иметь значение null, что указывает на то, что элемент был удален. Это может помочь потребителям обнаружить, что была выполнена операция DELETE.

Сохранять данные восстановления задачи в целевой базе данных

Выберите этот параметр, чтобы хранить информацию о восстановлении, специфичную для задачи, в целевой базе данных. Если этот параметр выбран, задача репликации создает таблицу с именем attrep_txn_state в целевой базе данных. Эта таблица содержит данные транзакций, которые можно использовать для восстановления задачи в случае повреждения файлов в папке Данные Шлюз движения данных или сбоя устройства хранения, содержащего папку Данные.

Применять изменения с помощью SQL MERGE

Если этот параметр не выбран, задача репликации будет выполнять отдельные массовые операторы INSERT, UPDATE и DELETE для каждого из различных типов изменений в таблице чистых изменений.

Хотя этот метод очень эффективен, включение параметра Применять изменения с помощью SQL MERGE еще более эффективно при работе с конечными точками, поддерживающими этот параметр.

Это связано со следующими причинами:

• Это уменьшает количество операторов SQL, выполняемых для каждой таблицы, с трех до одного. Большинство операций UPDATE в больших, неизменяемых, файловых облачных базах данных (таких как Google Cloud BigQuery) включают перезапись затронутых файлов. При таких операциях сокращение количества операторов SQL для каждой таблицы с трех до одного очень значительно.
• Целевой базе данных нужно сканировать таблицу чистых изменений только один раз, что значительно сокращает ввод-вывод.

Оптимизировать вставки

Если Применять изменения с помощью SQL MERGE выбрано вместе с параметром Оптимизировать вставки, а изменения состоят только из INSERT, задача репликации будет выполнять INSERT вместо использования SQL MERGE. Обратите внимание, что хотя это обычно улучшает производительность и, следовательно, снижает затраты, это также может привести к дублированию записей в целевой базе данных.

Транзакционное применение

Следующие настройки доступны только при работе в режиме транзакционного применения. При репликации в базы данных режим применения может быть установлен как Оптимизированный пакет, так и Транзакционный. Однако при репликации в целевой объект Snowflake, когда для метода загрузки установлено значение Snowpipe streaming, режим применения всегда транзакционный и поэтому не может быть установлен.

• Минимальное количество изменений в транзакции: минимальное количество изменений для включения в каждую транзакцию. Значение по умолчанию — 1000.

  Примечание к информацииЗадача репликации применяет изменения к целевому объекту либо когда количество изменений равно или больше значения Минимальное количество изменений в транзакции, ЛИБО когда достигается значение тайм-аута пакета (см. ниже) — в зависимости от того, что произойдет раньше. Поскольку частота применения изменений к целевому объекту контролируется этими двумя параметрами, изменения в исходных записях могут не сразу отражаться в целевых записях.
• Максимальное время для пакетной обработки транзакций перед применением (секунды): максимальное время для сбора транзакций в пакеты до объявления тайм-аута. Значение по умолчанию — 1.

Эволюция схемы

Выберите, как обрабатывать следующие типы изменений DDL в схеме. После изменения настроек эволюции схемы необходимо снова подготовить задачу. В таблице ниже описано, какие действия доступны для поддерживаемых изменений DDL.

Подстановка символов

Можно заменять или удалять исходные символы в целевой базе данных и (или) исходные символы, не поддерживаемые выбранным набором символов.

Подстановка или удаление исходных символов

Используйте таблицу Подставлять или удалять исходные символы, чтобы определить замены для конкретных исходных символов. Это может быть полезно, например, когда представление символа в Юникоде отличается на исходной и целевой платформах. Например, на платформе Linux символ «минус» в наборе символов Shift_JIS представлен как U+2212, а в ОС Windows как U+FF0D.

Замена или удаление исходных символов, не поддерживаемых выбранным набором символов

Используйте таблицу Неподдерживаемые исходные символы по набору символов, чтобы определить один символ подстановки для всех символов, не поддерживаемых выбранным набором символов.

Дополнительные параметры

Эти параметры не раскрываются в пользовательском интерфейсе, так как они применяются только в определенных версиях или средах. Поэтому не следует устанавливать их, если на это нет соответствующих указаний службы поддержки Qlik или в документации по продукту.

Чтобы задать параметр, просто скопируйте его в поле Добавить имя признака и нажмите кнопку Добавить. Затем задайте значение или включите параметр в соответствии с полученными инструкциями.

Параллельная загрузка сегментов набора данных

Во время полной загрузки вы можете ускорить загрузку больших наборов данных, разделив набор данных на сегменты, которые будут загружаться параллельно. Таблицы можно разделять по диапазонам данных, всем секциям, всем подсекциям или конкретным секциям.

Для получения дополнительной информации см. Параллельная репликация сегментов набора данных.

Планирование задач

В следующих случаях использования необходимо определить интервал планирования для обновления целевого объекта изменениями, внесенными в источник:

• Доступ к источнику данных без Шлюз движения данных
• Использование коннектора предварительного просмотра приложения SaaS. Коннекторы предварительного просмотра отмечены кнопкой как в диалоговом окне создания подключения, так и в онлайн-справке.
• При захвате изменений из источника SAP OData с помощью параметра По расписанию.

Расписание определяет, как часто целевые наборы данных будут обновляться изменениями в исходных наборах данных. В то время как расписание определяет частоту обновления, тип набора данных определяет метод обновления. Если исходные наборы данных поддерживают CDC (захват измененных данных), будут реплицированы и применены к соответствующим целевым таблицам только изменения в исходных данных. Если исходные наборы данных не поддерживают CDC (например, представления), изменения будут применены путем перезагрузки всех исходных данных в соответствующие целевые таблицы. Если некоторые из исходных наборов данных поддерживают CDC, а некоторые нет, будут созданы две отдельные подзадачи (при условии, что выбраны параметры репликации Применять изменения или Сохранять изменения): одна для перезагрузки наборов данных, не поддерживающих CDC, и другая для захвата изменений в наборах данных, поддерживающих CDC. В этом случае для обеспечения согласованности данных настоятельно рекомендуется не поддерживать одинаковый интервал планирования для обеих задач (если вы решите изменить частоту обновления в будущем).

Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.

Чтобы изменить расписание:

1. Откройте свой проект, а затем выполните одно из следующих действий:

   • В представлении задач нажмите на задаче репликации и выберите Планирование.
   • В представлении конвейера нажмите на задаче репликации и выберите Планирование.
   • Откройте задачу репликации и нажмите кнопку на панели инструментов Планирование.
2. При необходимости измените настройки планирования, а затем нажмите ОК.

Выполнение пропущенного запуска для задачи на основе Шлюз движения данных

Иногда проблемы с сетью могут привести к потере подключения к Шлюз движения данных. Если подключение к Шлюз движения данных не будет восстановлено до следующего запланированного запуска, задача данных не будет выполнена в запланированное время. В таких случаях можно выбрать, нужно ли выполнять задачу сразу после восстановления подключения.

Настройки по умолчанию для всех Шлюз движения данных определены в центре активности Администрирование. Вы можете переопределить эти настройки для отдельных задач, как описано ниже.

Для этого

1. Откройте свой проект, а затем выполните одно из следующих действий:

   • В представлении задач нажмите на задаче данных и выберите Планирование.

   • В представлении конвейера нажмите на задаче данных и выберите Планирование.

   • Откройте задачу данных и нажмите кнопку на панели инструментов Планирование.

   Откроется диалоговое окно Планирование - <task>.

2. Включите Использовать настраиваемые параметры для этой задачи.

3. В нижней части диалогового окна выберите один из следующих параметров Запускать пропущенные запланированные задачи.

   • Как можно скорее, а затем по расписанию, если важно запустить задачу до следующего запланированного экземпляра

   • По расписанию, чтобы запустить задачу в следующий запланированный экземпляр

4. Сохраните настройки.

См. также: Выполнение задачи, не выполненной по графику.