Мониторинг Открытое озеро данных Qlik задачи хранения

Задача хранения в Открытое озеро данных Qlik проектах отличается от других проектов тем, что она выполняется непрерывно, а не в пакетном режиме. В результате метрики мониторинга отличаются.

Общий мониторинг обзор

Представление мониторинга позволяет отслеживать статус задач и метрики:

• Вкладки

  Переключайтесь между Инфо, Полная загрузка и Обработка изменений для просмотра соответствующих метрик для каждой фазы задачи.

• Фильтр статуса набора данных

  Линейчатая диаграмма над таблицей наборов данных показывает, сколько наборов данных находится в каждом статусе: В очереди, Загрузка, Завершено и Ошибка. Диаграмма обновляется динамически по мере изменения статусов набора данных. Нажмите на сегмент статуса, чтобы отфильтровать таблицу наборов данных и показать только наборы данных в этом статусе.

• Скрыть виджеты

  Щелкните Скрыть виджеты, чтобы свернуть виджеты метрик. Это предоставляет больше места для просмотра таблицы наборов данных ниже.

• Дата начала

  Дата и время начала выполнения текущей задачи.

• Дата окончания

  Дата и время завершения выполнения задачи. Это отображается только для завершенных запусков задач.

• История запусков

  Нажмите Историю выполнения, чтобы просмотреть список предыдущих выполнений задач и их результаты.

Информационный мониторинг сведений

В Info разделе представлен обзор общего состояния задачи:

• Запустить

  Отображает Идентификатор запуска текущего запуска.

• Данные

  Задача данных обновлена до отображает время, до которого обновлен самый старый вид. Он представляет собой последнюю точку во времени, когда все изменения источника, зафиксированные до этого момента, уже доступны в целевых таблицах.

  Если новые изменения источника не обнаружены, это значение устанавливается на текущее время.

• Задача

  Отображает имя и статус кластера, на котором выполняется эта задача, а также общую информацию и статус задачи.

Информация о мониторинге полной загрузки

В разделе Полная загрузка доступны следующие статистические данные о задаче данных:

• Всего наборов данных

  Количество загруженных наборов данных.

• Наборы данных с ошибками

  Количество наборов данных с ошибками.

• Входящие изменения

  Количество входящих изменений.

• Общая задержка

  Текущая задержка задачи (чч:мм:сс). Эта длительность представляет собой время с момента, когда изменение становится доступным в источнике, до момента, когда изменение применяется и становится доступным в цели.

Для каждой из таблиц в задаче данных выводятся следующие сведения:

• Имя

  Имя целевой таблицы.

• Состояние

  Состояние таблицы будет: В очереди, Загрузка, Завершено или Ошибка.

• Выполнение начато

  Время начала загрузки.

• Выполнение завершено

  Время завершения загрузки.

• Длительность

  Длительность загрузки в формате чч:мм:сс.

• Записи

  Число записей, реплицированных во время загрузки.

• Сообщение

  Отображает сообщение об ошибке, если загрузка не была успешно обработана.

Изменение данных мониторинга за процессом обработки

Можно просмотреть следующие сведения для задачи данных для отслеживания обработки изменений в Обработка изменений:

• Всего наборов данных

  Количество загруженных наборов данных.

• Наборы данных с ошибками

  Количество наборов данных с ошибками.

• Входящие изменения

  Количество входящих изменений.

• Обработанные изменения

  Число обработанных изменений.

• Общая задержка

  Текущая задержка задачи (чч:мм:сс). Эта длительность представляет собой время с момента, когда изменение становится доступным в источнике, до момента, когда изменение применяется и становится доступным в цели.

Для каждой из таблиц в задаче данных выводятся следующие сведения:

• Имя

  Имя целевой таблицы в ресурсе промежуточного хранения.

• Состояние

  Состояние таблицы будет: Накопление изменений или Ошибка.

• Входящие изменения

  Количество изменений, обработанных задачей промежуточного хранения, которые ожидают применения задачей хранения.

• Обработанные изменения

  Общее количество изменений, которые были применены к целевому объекту с момента последней полной загрузки набора данных (первоначальной полной загрузки или действия перезагрузки).

• Последняя обработка

  Время последних исходных данных, которые были вставлены в целевой набор данных, переведенное в местное время.

• Неоптимизированные изменения

  Количество записей, которые доступны для запросов через представление, но еще не объединены в оптимизированные разделы Iceberg. Высокие значения могут влиять на производительность до завершения фоновых оптимизаций.

  Это отражает количество записей, находящихся в разделе изменений, которые еще не были применены к текущим или историческим разделам.

  Если это число постоянно высоко, рассмотрите возможность увеличения вычислительной мощности кластера для ускорения оптимизации.

• Сообщение

  Если не удалось обработать или применить изменения к таблице, выводится сообщение об ошибке.

Просмотр истории запусков

Вы можете просмотреть историю запусков задачи, чтобы выявить первопричины и понять закономерности с течением времени.

• Нажмите История запусков в представлении Мониторинг для задачи.

• Нажмите История запусков в меню ... задачи в Представления мониторинга.

В истории запусков отображается до 100 выполнений в зависимости от выбранных фильтров. Уточните критерии фильтрации, чтобы просмотреть другие выполнения. Можно настроить фильтр по дате окончания выполнения и статусу задачи. Информация о запусках хранится в течение 13 месяцев. Метаданные набора данных в запусках хранятся в течение 30 дней.