Мониторинг Открытое озеро данных Qlik задачи хранения

Задача хранения в Открытое озеро данных Qlik проектах отличается от других проектов тем, что она выполняется непрерывно, а не в пакетном режиме. В результате метрики мониторинга отличаются.

Общие сведения мониторинга

В этом разделе представлен обзор общего состояния задачи:

• Задача данных обновлена до

  Метка времени, до которой все таблицы полностью синхронизированы. Он представляет собой последнюю точку во времени, когда все изменения источника, зафиксированные до этого момента, уже доступны в целевых таблицах.

  Если новые изменения источника не обнаружены, это значение устанавливается на текущее время.

• Количество наборов данных

  Общее количество наборов данных, включенных в эту задачу.

• Наборы данных с ошибками

  Общее количество наборов данных в этой задаче, в которых возникли ошибки.

• Кластер хранилищ в озерах данных

  Имя и статус кластера, на котором выполняется эта задача.

Информация о мониторинге полной загрузки

В разделе Состояние полной загрузки доступны следующие данные о задаче данных:

• В очереди: число таблиц в очереди.

• Загрузка: число таблиц, которые загружаются в данный момент.

• Завершено: число таблиц, обработка которых завершена.

• Ошибка: число таблиц, при обработке которых возникла ошибка.

Для каждой из таблиц в задаче данных выводятся следующие сведения:

• Имя

  Имя целевой таблицы.

• Состояние

  Состояние таблицы будет: В очереди, Загрузка, Завершено или Ошибка.

• Выполнение начато

  Время начала загрузки.

• Выполнение завершено

  Время завершения загрузки.

• Длительность

  Длительность загрузки в формате чч:мм:сс.

• Записи

  Число записей, реплицированных во время загрузки.

• Сообщение

  Отображает сообщение об ошибке, если загрузка не была успешно обработана.

Подробные сведения о мониторинге в режиме Захват изменений данных (CDC)

Следующие данные CDC задачи данных позволяют отслеживать обработку изменений в состоянии CDC:

• Входящие изменения: изменения в источнике, ожидающие обработки. Можно проверить число накопленных и применяемых изменений.

• Обработанные изменения: число обработанных и примененных за последние 24 часа изменений.

• Задержка: разница во времени (чч:мм:сс) между самой старой меткой времени исходного события в промежуточном хранении, которая не была обработана для хранения, и текущим временем. Это значение соответствует времени с момента появления изменения в источнике до применения и появления изменения в ресурсе промежуточного хранения.

Для каждой из таблиц в задаче данных выводятся следующие сведения:

• Имя

  Имя целевой таблицы в ресурсе промежуточного хранения.

• Состояние

  Состояние таблицы будет: Накопление изменений или Ошибка.

• Входящие изменения

  Количество изменений, обработанных задачей промежуточного хранения, которые ожидают применения задачей хранения.

• Обработанные изменения

  Общее количество изменений, которые были применены к целевому объекту с момента последней полной загрузки набора данных (первоначальной полной загрузки или действия перезагрузки).

• Последняя обработка

  Время последних исходных данных, которые были вставлены в целевой набор данных, переведенное в местное время.

• Неоптимизированные изменения

  Количество записей, которые доступны для запросов через представление, но еще не объединены в оптимизированные разделы Iceberg. Высокие значения могут влиять на производительность до завершения фоновых оптимизаций.

  Это отражает количество записей, находящихся в разделе изменений, которые еще не были применены к текущим или историческим разделам.

  Если это число постоянно высоко, рассмотрите возможность увеличения вычислительной мощности кластера для ускорения оптимизации.

• Сообщение

  Если не удалось обработать или применить изменения к таблице, выводится сообщение об ошибке.