Устранение неполадок с задачами данных

В этом разделе описаны проблемы, которые могут произойти во время работы с задачами данных, а также способы их устранения.

Устранение неполадок с ошибками среды

Когда задача данных сталкивается с ошибкой среды, такой как тайм-аут, ошибка сети или ошибка подключения, задача данных автоматически предпримет повторную попытку операции. Если при следующей попытке ошибка повторяется снова, задача данных перестает работать, для нее отображается состояние Ошибка и сообщение об ошибке.

• Задачи промежуточного хранения с источниками данных, доступными только через Data Movement Gateway:

  Повторные попытки выполнения операции предпринимаются неограниченное количество раз с интервалом 5 секунд.

  Если сбой в работе длится долго, интервал удваивается вплоть до достижения 1800 секунд.

• Задачи промежуточного хранения данных с источниками данных, доступными без Data Movement Gateway, задачи хранения, задачи преобразования и задачи киоска данных:

  Повторные попытки выполнения операции предпринимаются 3 раза с интервалом в 1 секунду.

Выполните следующие действия.

1. Устраните проблему, используя сообщение об ошибке.

2. Выполните перезагрузку или возобновите операцию задачи данных.

Исправление неполадок с конкретной таблицей

Когда задача данных сталкивается с ошибкой при записи в определенную таблицу, задача данных продолжает работу. Для таблицы с ошибкой будет отображаться состояние Ошибка и сообщение об ошибке.

1. Устраните проблему, используя сообщение об ошибке.

2. Перезагрузите таблицу, в связи с которой возникла ошибка.

Устранение неполадок, связанных с режимом обновления CDC (Захват изменений данных)

В задачах промежуточного хранения данных с режимом обновления Полная загрузка и CDC могут возникать проблемы, связанные с захватом изменений данных, которые затрагивают выполнение задачи в целом и которые нельзя решить путем перезагрузки конкретных таблиц. В качестве примеров проблем можно привести отсутствующие события, проблемы, вызванные реорганизацией исходной базы данных, или ошибку чтения событий исходной базы данных.

Чтобы решить эти проблемы, можно перезагрузить все таблицы в цель.

1. Остановите задачу данных и все задачи, которые ее используют.

2. Откройте задачу данных и перейдите вкладку Мониторинг.

3. Щелкните ..., а затем Перезагрузить цель.

В результате этого все таблицы будут перезагружены в цель с использованием операции «Отбросить-Создать» (Drop-Create), а также будут перезапущены все процессы захвата изменений данных с этого момента.

• Задачи хранения, которые используют эту задачу промежуточного хранения, будут перезагружены в режиме «Сравнить и применить» для синхронизации при следующем запуске. Существующая история будет сохранена. История типа 2 будет обновлена с учетом изменений после выполнения процесса «Перезагрузка и сравнение».

  Метка времени для начальной даты в истории типа 2 будет отражать дату перезагрузки, а не фактическую дату внесения изменения в источник.

• Виды хранения в реальном времени не будут надежными во время операции перезагрузки цели и до окончания синхронизации. Хранилище полностью синхронизируется, когда:

  • все таблицы перезагружаются в режиме «Сравнить и применить»,

  • один цикл изменений выполняется для каждой таблицы.

Для получения дополнительной информации см. раздел Перезагрузка всех таблиц в цель.

Значения NULL в столбцах первичного ключа

При выполнении задачи данных может появиться сообщение об ошибке: Unknown execution error - NULL result in a non-nullable column.

Возможная причина  

Столбцы, используемые в качестве первичного ключа, не должны содержать значения NULL и не должны допускать нулевые значения.

Предлагаемые меры  

В исходной задаче данных добавьте выражение, которое преобразует все значения NULL в определенное значение, например 0.

Также можно выбрать другой столбец, который требуется использовать в качестве первичного ключа.

Ошибка приведения типа при использовании Redshift в качестве платформы данных

При использовании Redshift в качестве платформы данных может произойти следующая или подобная ошибка: Не удалось найти функцию преобразования из значения «неизвестно» в переменный символ

Возможная причина  

Отсутствует приведение типа константного выражения. Эта ошибка чаще всего происходит в киосках данных из-за более высокой сложности окончательного запроса.

Предлагаемые меры  

Приведение типа константного выражения к виду текста.

Пример:

Неоднозначные имена столбцов

Когда данные регистрируются на основе вида, созданного в конвейере Qlik Talend Data Integration, вид может содержать столбцы, которые были сгенерированы Qlik Talend Data Integration. Имена этих столбцов, начинающиеся с hdr__, зарезервированы. Когда столбец с зарезервированным именем используется в задаче хранения, эта задача будет создавать столбцы с тем же зарезервированным именем, что приведет к конфликту имен. Например, может быть два столбца с именем hdr__key_hash.

Для получения дополнительной информации о зарезервированных именах столбцов в видах см. раздел Виды.

Предлагаемые меры  

Переименуйте столбец, который берется из задачи зарегистрированных данных, в задаче хранения данных. Например, переименуйте hdr__key_hash в my__key_hash.

Устранение неполадок с задачами данных на основе Data Movement Gateway

Получайте сведения об операциях промежуточного хранения для задач данных на основе Data Movement Gateway, просматривая файлы журналов. Кроме того, есть возможность установить уровень ведения журналов. Журналы будут доступны после того, как завершится первый запуск задачи данных.

Чтобы просматривать файлы журналов, требуется одно из следующих разрешений для пространства, в котором находятся задачи данных:

• Владелец

• Может выполнять задачи оператора

Также требуется одно из следующих разрешений для пространства, в котором находится шлюз данных:

• Может использовать
• Может изменять
• Может управлять

Просмотр файлов журналов

Откройте средство просмотра журналов, нажав Просмотр журналов в задаче промежуточного хранения данных на основе Data Movement Gateway. Файл журнала для просмотра можно выбрать в разделе Журналы подсистемы репликации. Файл можно прокрутить вверх и вниз с помощью и .

Настройка параметров ведения журналов

Уровень ведения журналов для различных операций репликации можно установить в параметрах ведения журналов.

Хранение отслеживания и подробного журнала в памяти

Когда выбран уровень ведения журнала «Отслеживание» или «Подробно», можно настроить в Qlik Talend Data Integration хранение данных журнала в памяти, пока не возникнет ошибка. При обнаружении ошибки Qlik Talend Data Integration начнет запись данных в физические журналы, которая будет продолжаться в течение нескольких минут после первого возникновения ошибки.

Если ошибки не возникнут до исчерпания выделенной памяти, Qlik Talend Data Integration очистит буфер памяти и начнет запись снова.

Этот вариант полезен для задач, которые завершаются сбоем непредвиденно и без очевидной причины. Проблема с непрерывной записью большого объема информации имеет две стороны:

• При работе в режиме журнала «Отслеживание» или «Подробно» быстро расходуется свободное место на диске (если не заданы препятствующие этому параметры ведения журнала).
• Непрерывная запись большого объема информации в журналы снижает производительность.

Чтобы использовать этот вариант

1. Установите Хранить данные журнала в режиме «Отслеживание»/«Подробно» в памяти, но при возникновении ошибки записывать в журналы. флажок в верхней части вкладки.
2. В поле Выделить память до (МБ) укажите объем памяти, который требуется выделить для хранения данных журнала.

Настройка уровней ведения журнала

Возможна установка уровней, перечисленных ниже.

• 1. Ошибка:

  показывать сообщения об ошибках.

• 2. Предупреждение:

  показывать предупреждения.

• 3. Информация:

  показывать информационные сообщения.

• 4. Отладка:

  показывать дополнительную информацию для поиска и устранения неполадок.

• 5. Детальная отладка:

  показывать подробную информацию для поиска и устранения неполадок.

Более высокие уровни всегда содержат сообщения с более низких уровней. Поэтому при выборе уровня Ошибка в журнал будут записываться только сообщения об ошибках. Но, если выбрать уровень Информация, журнал будет содержать информационные сообщения, предупреждения и сообщения об ошибках. Как правило, использование уровней Отладка и Детальная отладка может привести к созданию большого объема данных журнала.

Используйте параметр Глобально, чтобы установить одинаковый уровень для всех операций, или установите уровень отдельно для каждой операции.

• Источник — полная загрузка

  Регистрирует в журнале действия, связанные с операциями, которые выполняются при полной загрузке в источнике данных. Сюда входят операторы SELECT, выполняемые для исходных таблиц до полной загрузки.

• Источник — CDC

  Регистрирует в журнале действия, связанные с операциями CDC в источнике данных.

  Примечание к предупреждениюИспользование уровня Детальная отладка для этого параметра приведет к созданию очень большого объема данных журнала.

• Источник — данные

  Подробная регистрация в журнале действий источника данных, связанных с операциями, которые выполняются при полной загрузке, и операциями CDC.

• Цель — полная загрузка

  Регистрирует в журнале действия, связанные с операциями, которые выполняются при полной загрузке в целевом объекте данных.

• Цель — CDC

  Регистрирует в журнале действия, связанные с операциями CDC в целевом объекте данных.

• Цель — загрузка

  Регистрирует в журнале действия, связанные с передачей файлов в целевой объект данных.

• Расширенный CDC

  Подробная регистрация в журнале действий, связанных с операциями CDC, такими как синхронизация и хранение транзакций.

• Производительность

  Регистрирует в журнале значения задержки для источника данных и целевого объекта данных.

• Метаданные

  Регистрирует в журнале действия, связанные с чтением метаданных, а также изменения метаданных. Состояние выполнения задачи репликации также регистрируется в журнале.

• Инфраструктура

  Регистрирует в журнале информацию об инфраструктуре, операции файловой системы и операции, связанные с управлением задачами.

• Преобразование

  Регистрирует в журнале информацию, связанную с выполняемыми преобразованиями.

Загрузка файлов диагностики

Загрузите пакет диагностики, журналы задач и отчет о памяти, которые помогут устранить проблемы в задаче репликации, связанной с задачей промежуточного хранения. Одновременно можно загрузить только один элемент.

1. В средстве просмотра журнала нажмите Загрузить, чтобы развернуть его.

2. Выберите элемент для загрузки.

3. Нажмите Загрузить.

   В зависимости от настроек браузера файл будет загружен на компьютер, либо появится запрос сохранить его.

Устранение неполадок с задачами данных, не использующими Data Movement Gateway

Можно получать сведения об операциях промежуточного хранения для задач данных, не использующих Data Movement Gateway, просматривая файлы журналов. Кроме того, есть возможность установить уровень ведения журналов. Журналы будут доступны после того, как завершится первый запуск задачи данных. Можно просматривать журналы задачи и журналы сервера.

Просмотр журналов задач

Чтобы просматривать файлы журналов задач, требуется одно из следующих разрешений для пространства, в котором находятся задачи данных:

• Владелец

• Может выполнять задачи оператора

Также требуется одно из следующих разрешений для пространства, в котором находится шлюз данных:

• Может использовать
• Может изменять
• Может управлять

Откройте средство просмотра журналов, нажав Просмотр журналов задач в задаче промежуточного хранения данных, не использующей Data Movement Gateway. Файл журнала для просмотра можно выбрать в разделе Журналы подсистемы репликации. Файл можно прокрутить вверх и вниз с помощью и .

Уровень ведения журналов для различных операций репликации можно установить в параметрах ведения журналов. Для получения дополнительной информации см. раздел Настройка параметров ведения журналов.

Просмотр журналов перемещения данных

Для просмотра журналов перемещения данных требуется роль администратора данных или администратора клиента.

Откройте средство просмотра журналов, нажав Просмотр журналов перемещения данных в задаче промежуточного хранения данных, не использующей Data Movement Gateway. Для получения дополнительной информации о журналах см. раздел Просмотр и загрузка файлов журналов.