Перейти к основному содержимому Перейти к дополнительному содержимому

Мониторинг индивидуальной задачи данных

Можно отслеживать состояние и ход выполнения задач данных, выбрав Мониторинг в раскрывающемся списке в верхнем левом углу окна задачи данных.

Также можно создавать виды мониторинга для отслеживания нескольких задач данных. Для получения дополнительной информации см. раздел Мониторинг и организация задач данных.

Мониторинг задач промежуточного хранения и репликации

Мониторинг задач промежуточного хранения и репликации сходен тем, что можно отслеживать как первоначальную загрузку, так и загрузку в режиме CDC, однако имеются некоторые существенные отличия вследствие очень непохожих сценариев применения.

  • Все задачи промежуточного хранения должны начинаться с полной загрузки исходных данных в цель. После завершения первоначальной полной загрузки целевые данные обновляются при внесении изменений в исходные данные. Это может осуществляться в режиме Перезагрузка и сравнение или Захват изменений данных (CDC) в соответствии с определением задачи.

    Для получения дополнительной информации о задачах промежуточного хранения см. раздел Промежуточное хранение данных, полученных из источников данных.

  • Задачи репликации данных обычно начинаются с полной загрузки исходных данных в цель. Это необходимо при репликации из приложений SaaS, но необязательно при репликации из баз данных. Если при репликации из баз данных исходные данные уже существуют в цели и требуется только применить изменения источника к цели (или сохранить их для последующего применения), то можно выбрать режим репликации Применить изменения, Сохранить изменения или оба. Эти два режима репликации отображаются на экране мониторинга CDC.

    Для получения дополнительной информации о задачах «Репликация данных» см. следующие разделы:

    Репликация данных при использовании подписки Standard, Premium или Enterprise

    Репликация данных с использованием подписки Qlik Talend Cloud Starter

  • Задачи промежуточного хранения данных в озере данных похожи на задачи промежуточного хранения тем, что они должны начинаться с полной загрузки. После завершения первоначальной полной загрузки целевые данные обновляются при внесении изменений в исходные данные. Это может осуществляться в режиме Перезагрузка или Захват изменений данных (CDC). Несмотря на сходство с задачами промежуточного хранения, задачи промежуточного хранения данных в озере данных относятся к задачам репликации, так как они включают только репликацию источника в цели. Они не позволяют выполнять дальнейшие манипуляции с данными (например, применять преобразования и киоски данных), которые доступны в конвейере данных.

    Примечание к информацииШаги для создания отдельной задачи «Промежуточное хранение данных в озере данных» неприменимы для подпискиQlik Talend Cloud Starter. При использовании подписки Qlik Talend Cloud Starter репликация в цели ― облачные хранилища осуществляется с использованием стандартной задачи «Реликация данных».

    Для получения дополнительной информации о задачах промежуточного хранения данных в озере данных см. раздел Промежуточное хранилище данных в озере данных при использовании подписки Standard, Premium или Enterprise.

Мониторинг сведений

В разделе Состояние полной загрузки доступны следующие данные о задаче данных:

  • В очереди — число таблиц в очереди.

  • Загрузка — число таблиц, которые загружаются в данный момент.

  • Завершено — число таблиц, обработка которых завершена.

  • Ошибка — число таблиц, при обработке которых возникла ошибка.

Для каждой из таблиц в задаче данных выводятся следующие сведения:

  • Имя

    Имя целевой таблицы.

  • Состояние

    Состояние таблицы будет: В очереди, Загрузка, Завершено или Ошибка.

  • Выполнение начато

    Время начала загрузки.

  • Выполнение завершено

    Время завершения загрузки.

  • Длительность

    Длительность загрузки в формате чч:мм:сс.

  • Записи

    Число записей, реплицированных во время загрузки.

  • Кэшированные изменения

    Количество кэшированных изменений.

  • Сообщение

    Отображает сообщение об ошибке, если загрузка не была успешно обработана.

Подробные сведения о мониторинге в режиме Захват изменений данных (CDC)

Следующие данные CDC задачи данных позволяют отслеживать обработку изменений в состоянии CDC:

  • Входящие изменения – изменения в источнике, ожидающие обработки. Можно проверить число накопленных и применяемых изменений.

  • Обработанные изменения – число обработанных и примененных за последние 24 часа изменений.

  • Пропускная способность средняя целевая пропускная способность (килобайт/секунду). Показывает скорость, с которой измененные записи загружаются в целевой объект.

  • Задержка- текущая задержка ресурса данных (чч:мм:сс). Это значение соответствует времени с момент появления изменения в источнике до применения и появления изменения в целевом объекте или ресурсе промежуточного хранения.

Для каждой из таблиц в задаче данных выводятся следующие сведения:

  • Имя

    Имя целевой таблицы в ресурсе промежуточного хранения.

  • Состояние

    Состояние таблицы будет: Накопление изменений или Ошибка.

  • Последняя обработка

    Дата и время последних изменений в таблице.

  • Вставки

    Число операций вставки.

  • Обновления

    Число операций обновления.

    Примечание к информацииОбновления обрабатываются как вставки для источников приложения SaaS.
  • Удаления

    Число операций удаления.

  • Операции DDL

    Число операций DDL.

    Примечание к информацииДоступно только для задач репликации данных.
  • Сообщение

    Если не удалось обработать или применить изменения к таблице, выводится сообщение об ошибке.

Если выполняется промежуточное хранение данных из локального источника и выбран режим Полная загрузка, таблицы перезагружаются автоматически при запуске выполнения ресурса промежуточного хранения.

Если выполняется промежуточное хранение данных из локального источника и выбран режим Полная загрузка и CDC, обновление таблиц новыми данными происходит непрерывно после начальной полной загрузки.

Перезагрузка выбранных таблиц

Можно вручную перезагружать выбранные таблицы из источника. Это полезно, когда требуется восстановить одиночные таблицы с ошибкой. Перезагрузка таблиц не влияет на временную шкалу CDC, которая сбрасывается при использовании команды Воссоздать таблицы. При перезагрузке страниц не распространяются изменения метаданных.

  • Чтобы перезагрузить выбранные таблицы, выберите таблицы в нижней половине экрана Мониторинг и щелкните Перезагрузить таблицы.

    Необходимы те же разрешения, что и для выполнения задачи данных, то есть Владелец или Может выполнять задачи оператора.

Команда Перезагрузить таблицы доступна после первого выполнения задачи данных. Если выбран метод обновления Перезагрузка и сравнение, команда Перезагрузить таблицы недоступна в процессе выполнения задачи данных.

Дальнейшие задачи хранения данных будут синхронизированы при следующем выполнении. Если для задачи хранения включена история, то будет сохраняться история.

Если не удается выполнить восстановление путем перезагрузки таблиц, следующим шагом необходимо исправить задачу данных.

Перезагрузка всех таблиц в цель

Можно перезагрузить все таблицы в цель, если возникают проблемы с CDC, которые невозможно решить путем перезагрузки конкретных таблиц. В качестве примеров проблем можно привести отсутствующие события, проблемы, вызванные реорганизацией исходной базы данных, или ошибку чтения событий исходной базы данных.

Примечание к информацииЭтот параметр доступен только для задач данных с методом обновления Захват изменений данных (CDC), которые уже запускались хотя бы один раз.

  1. Остановите задачу данных и все задачи, которые ее используют.
  2. Откройте задачу данных и перейдите вкладку Мониторинг.

  3. Щелкните ..., а затем Перезагрузить цель.

В результате этого все таблицы будут перезагружены в цель с использованием операции «Отбросить-Создать» (Drop-Create), а также будут перезапущены все процессы захвата изменений данных с этого момента.

  • Задачи хранения, которые используют эту задачу промежуточного хранения, будут перезагружены в режиме «Сравнить и применить» для синхронизации при следующем запуске. Существующая история будет сохранена. История типа 2 будет обновлена с учетом изменений после выполнения процесса «Перезагрузка и сравнение».

    Метка времени для начальной даты в истории типа 2 будет отражать дату перезагрузки, а не фактическую дату внесения изменения в источник.

  • Виды хранения в реальном времени не будут надежными во время операции перезагрузки цели и до окончания синхронизации. Хранилище полностью синхронизируется, когда:

    • все таблицы перезагружаются в режиме «Сравнить и применить»,

    • один цикл изменений выполняется для каждой таблицы.

Мониторинг задач хранения, преобразования и киоска данных

Можно отслеживать состояние и ход выполнения задачи хранения, преобразования, а также задачи для киоска данных.

  • Когда первая загрузка запущена, можно просмотреть ход выполнения в разделе Состояние полной загрузки.

  • Во время обработки изменений можно проверить состояние и ход выполнения в области Текущий пакет изменений.

  • После завершения обработки изменений можно проверить состояние и ход выполнения в области Последний пакет изменений.

В нижней половине экрана Мониторинг можно просмотреть состояние и ход выполнения для каждого набора данных.

Также можно просмотреть подробную информацию на уровне операторов SQL.

Просмотр состояния и хода выполнения

Для каждого набора данных или изменения можно просмотреть сведения, указанные ниже.

  • Состояние

    Оно показывает текущее состояние набора данных или изменения.

    • Завершено — загрузка или изменение завершились успешно.

    • Загрузка — таблица или изменение обрабатываются.

    • В очереди — таблица или изменение ожидают обработки.

    • Ошибка — при обработке таблицы или изменения произошла ошибка.

  • Выполнение начато

    Время, когда началась загрузка или обработка изменения.

  • Выполнение завершено

    Время, когда завершилась загрузка или обработка изменения.

  • Длительность

    Длительность загрузки или обработки изменения в формате чч:мм:сс.

  • Обработанные записи

    Количество записей, обработанных при загрузке или изменении.

  • Пропускная способность (записей в секунду)

    Пропускная способность обновляется после завершения загрузки.

  • Сообщение

    Отображает сообщение об ошибке, если загрузка или изменение не были успешно обработаны.

Наборы данных будут постоянно обновляться новыми данными по мере обновления данных в области промежуточного хранения в ходе выполнения задачи репликации. Каждый пакет относится к записям за определенный период времени. Период времени последнего пакета изменений можно посмотреть в разделе Последний пакет изменений.

Данные из всех исходных транзакций до времени, указанного в поле Задача данных обновлена до, доступны для использования из этой задачи данных. Эта информация доступна для ресурса данных после загрузки всех таблиц и применения первого набора изменений. Если выбрано создание видов в реальном времени, можно также просмотреть, когда они обновляются.

Если имеется пакет изменений до завершения начальной загрузки, поле Задача данных обновлена до будет обновлено только после завершения начальной загрузки и применения первого пакета изменений. Например, предположим, что загружается ресурс данных, содержащий набор данных заказов с 1 миллионом заказов и набор данных сведений о заказах с 10 миллионами сведений о заказах. Для выполнения полной загрузки наборов данных требуется 10 и 20 минут соответственно. Сначала загружается набор данных заказов, а затем — набор данных сведений о заказах. Во время загрузки набора данных заказов был добавлен новый заказ. Поэтому, когда загрузятся сведения о заказах, они могут содержать сведения о новом заказе, который еще не существует в наборе данных заказов. Наборы данных заказов и сведений о заказах будут синхронизированы и полностью обновлены до одного и того же времени только после применения первого пакета изменений.

Просмотр подробной информации

Подробную информацию можно просмотреть на уровне операторов SQL.

  1. Выберите Полная загрузка, Текущий пакет изменений или Последний пакет изменений в раскрывающемся списке в нижней части Мониторинга.

  2. Выберите наборы данных для подробного мониторинга.

  3. Щелкните Мониторинг сведений.

Мониторинг сведений отображается, и можно просмотреть команды, выполняемые на каждом этапе процесса загрузки или изменения. Можно щелкнуть команду, чтобы просмотреть полный текст выполненных операторов SQL.

  • Нажмите Экспорт в CSV, чтобы экспортировать текстовый файл с полными операторами SQL для всех перечисленных команд.

Задача данных обновлена до для видов

В поле Задача данных обновлена до отображается время, до которого обновлен самый старый вид.

  • Задача данных обновлена до показывает время, до которого обновлен самый старый вид.

    Например, задача включает две таблицы: Orders (Заказы) и Order details (Сведения о заказах). Таблица Orders обновлена до 10:01 и теперь включает записи с метками времени 10:00 и 10:01, а таблица Order details содержит записи только с метками времени 10:00. В данном случае задача данных обновлена до 10:00. Эту метку не следует путать с временем начала и окончания загрузки задачи данных, которая могла проходить с 10:02 по 10:03.

  • В поле Задача данных обновлена до отображается время, до которого обновлен самый старый вид в реальном времени.

    Например, задача включает таблицу Orders (Заказы). Таблица Orders на промежуточном хранении обновлена до 10:01 и теперь включает записи с метками времени 10:00 и 10:01, а таблица Order в хранилище содержит записи только с метками времени 10:00. В данном случае виды в реальном времени для Orders обновлены до 10:01, а стандартные виды — до 10:00.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!