Мониторинг и управление задачами данных

Вы можете отслеживать состояние и ход выполнения задач данных, а также управлять ими с помощью представлений мониторинга. Представление мониторинга позволяет просматривать состояние подмножества задач данных, к мониторингу которых у вас есть доступ в клиенте, на основе фильтра. Вы можете создать несколько представлений для мониторинга различных аспектов ваших конвейеров данных.

• Перейдите в Интеграция данных > Представления мониторинга, чтобы отобразить представления мониторинга.

Помимо создания настраиваемых представлений мониторинга, вы также можете использовать готовое представление Все задачи для отображения всех запускаемых задач данных во всех проектах.

Создание нового представления мониторинга

Создайте настраиваемое представление мониторинга, чтобы начать мониторинг задач данных.

1. Нажмите Создать и выберите Представление мониторинга.

2. Введите имя и описание представления мониторинга, выберите пространство, в котором оно будет создано, и нажмите Создать, когда будете готовы.

   Отобразится представление мониторинга.

3. Изначально в представлении мониторинга отображаются все задачи данных из всех проектов.

   Используйте фильтры, чтобы создать представление с задачами, которые вы хотите отслеживать. Списки фильтров будут содержать только те ресурсы, на просмотр которых у вас есть разрешение.

   Доступны следующие фильтры:

   • Проект

     Вы можете выбрать все проекты в одном или нескольких пространствах, выбрать отдельные проекты или использовать комбинацию обоих вариантов.

   • Тип задачи

   • Происхождение задачи

     Показывает происхождение вышестоящих задач для выбранных задач.

     Например, вы можете выбрать витрины данных из разных проектов. Это позволит отслеживать все вышестоящие задачи данных, которые влияют на выбранные витрины данных.

   • Влияние задачи

     Показывает все нижестоящие задачи, на которые влияют выбранные задачи.

     Например, вы можете выбрать задачу данных промежуточного хранения, в которой возникла ошибка. Это позволит отслеживать все нижестоящие задачи данных, на которые влияет выбранная задача данных промежуточного хранения.

     Примечание к подсказкеВы можете комбинировать фильтры Происхождение задачи и Влияние задачи. Например, вы можете отслеживать все задачи данных, которые находятся в происхождении интересующей вас выбранной витрины данных и на которые влияет выбранная задача промежуточного хранения, содержащая ошибку.

   • Шлюз данных

     Показывает все задачи данных, которые выполняют операции через один из выбранных шлюзов Data Movement. Такими задачами могут быть:

     • Задачи, которые перемещают данные, такие как задачи промежуточного хранения или задачи репликации
     • Задачи, которые извлекают, загружают и преобразуют данные и выполняются на платформе данных, которая недоступна напрямую из Qlik Cloud. Такими задачами могут быть задачи хранения, задачи преобразования, задачи регистрации и задачи витрин данных.

     Выберите Не использует шлюз данных, чтобы просмотреть задачи, которые не используют шлюз данных. Это может быть любая задача ELT, выполняемая на платформе данных, которая доступна напрямую из Qlik Cloud.

     Примечание к информацииЗадачи, связанные с удаленным шлюзом, больше не будут соответствовать фильтру Шлюз данных. Чтобы увидеть такие задачи, необходимо очистить выбор в фильтре Шлюз данных.

   • Платформа данных/целевой объект

     Показывает задачи с выбранными платформами данных (задачи конвейера данных) или целевыми объектами (задачи репликации).

   • Источник

     Показывает задачи перемещения данных с выбранными источниками данных. Задачами перемещения данных могут быть следующие задачи в зависимости от варианта использования:

     • Вариант использования конвейера данных: задачи промежуточного хранения
     • Вариант использования репликации: задачи «Репликация данных» или задачи «Размещение данных в озере данных»

   • Кластеры Lakehouse

     Показывает задачи перемещения данных, выполняемые на выбранных кластерах lakehouse.

     Примечание к информацииФильтр кластеров lakehouse применяется только к проектам Открытое озеро данных Qlik.

   • Владелец

   Например, выберите пространство в поле Проект в разделе Все проекты в пространствах: и выберите Промежуточное хранение в поле Тип задачи. Это создаст представление, в котором вы сможете увидеть все задачи данных промежуточного хранения для всех проектов в выбранном пространстве.

4. Когда все будет готово, нажмите Сохранить.

Представление мониторинга создано и отображает все задачи, которые соответствуют фильтру и находятся в состоянии, позволяющем их запустить. Это означает, что задачи в статусе Новая или Готово к подготовке не отображаются в представлении мониторинга. Если задача, которая была успешно подготовлена, изменяется и подготавливается с ошибками, в представлении мониторинга будет отображаться предыдущая версия, которую можно запустить.

Клонирование представления мониторинга

Вы также можете создать представление мониторинга путем клонирования существующего представления мониторинга.

• Нажмите Сохранить как и сохраните представление под новым именем. Вы также можете выбрать пространство, в котором нужно сохранить представление.

Вы можете использовать это, например, для следующих целей:

• Создание представления мониторинга на основе другого представления.

  Откройте представление мониторинга, измените фильтры и сохраните его под другим именем.

• Перемещение представления мониторинга в другое пространство

  Сохраните представление мониторинга с тем же именем в другом пространстве, а затем удалите исходное представление.

Управление представлениями мониторинга

Чтобы отобразить представления мониторинга, перейдите в Интеграция данных > Представления мониторинга.

Вы можете фильтровать представления мониторинга по параметрам Пространства и Владелец представления мониторинга. Щелкните представление мониторинга, чтобы открыть его.

• Чтобы изменить представление мониторинга, нажмите ..., а затем Изменить.

• Чтобы удалить представление мониторинга, нажмите ..., а затем Удалить.

Использование представления мониторинга

В представлении мониторинга отображаются следующие свойства для всех задач данных, которые выводятся с использованием примененного фильтра.

• Имя задачи

• Проект

• Источник

  Показывает задачи перемещения данных с выбранными источниками данных.

• Платформа данных/целевой объект

  Показывает задачи с выбранными платформами данных (задачи конвейера данных) или целевыми объектами (задачи репликации).

• Пространство

• Состояние

• Сообщение

• Данные обновлены по состоянию на

  Изменения источника как минимум для одного из источников задачи применены к этому времени.

• Наборы данных

• Наборы данных с ошибкой

• Следующее расписание

• Кластер Lakehouse

  Примечание к информацииФильтр кластеров lakehouse применяется только к проектам Открытое озеро данных Qlik.

• Последний запуск: время начала

• Последний запуск: длительность

• Последний запуск: наборы данных

• Владелец

• Обработанные наборы данных

• Обработанные записи

• Создано

• Изменено

• Действия

  Этот столбец содержит меню, в котором можно выполнить действие, например Запустить или Остановить, в зависимости от статуса задачи. Вы также можете получить доступ к расписанию и перейти непосредственно к проекту или структуре задачи.

Выбор отображаемых столбцов

Вы можете настроить отображаемые столбцы, нажав на столбце и выбрав Отображаемые столбцы. Затем вы можете выбрать, какие столбцы отображать или скрывать.

Вы можете скрыть один столбец, нажав на столбце и выбрав Скрыть столбец.

Сортировка задач данных в представлении мониторинга

Вы можете сортировать задачи данных, нажимая на заголовки столбцов. Нажмите на заголовок еще раз, чтобы изменить порядок сортировки на возрастающий или убывающий. Вы также можете нажать на столбце и выбрать Сортировка по возрастанию или Сортировка по убыванию.

Чтобы выполнить сортировку по нескольким столбцам, удерживайте клавишу Shift или Ctrl при выборе столбцов. На устройстве macOS используйте клавишу Command (⌘).

Закрепление столбцов

Вы можете закрепить столбцы с левой или правой стороны, чтобы они оставались видимыми при горизонтальной прокрутке.

• Нажмите на столбце и выберите Закрепить слева или Закрепить справа.

Чтобы открепить закрепленный столбец, нажмите на столбце и выберите Открепить.

Фильтрация задач в представлении мониторинга

Вы также можете нажать Ключевые показатели эффективности, чтобы получить быстрый обзор состояния задач. Элементы KPI можно использовать в качестве быстрого фильтра. Доступны следующие KPI:

• Готово к запуску

  Сюда входят все задачи, которые не запускались, а также задачи, выполнение которых было остановлено до завершения.

• Выполняется

• Завершено

  Сюда входят все задачи, последний запуск которых был успешным.

• Требуется внимание!

  Здесь отображаются все задачи с ошибками, а также задачи, для которых агент шлюза отключен.

Переходные состояния, такие как Запуск, включаются в ближайший элемент KPI.

Просмотр сведений о задаче данных

Вы можете просмотреть сведения о задаче данных.

1. Выберите задачу данных.

2. Нажмите Подробные сведения.

Вы можете просмотреть:

• Конвейер, чтобы увидеть представление конвейера для проекта, к которому принадлежит задача данных.

Вы также можете перейти к индивидуальному представлению мониторинга выбранной задачи данных, нажав Открыть монитор задач.

• Для получения дополнительной информации о мониторинге отдельных задач Промежуточное хранение см. Промежуточное хранение данных из источников данных.

• Для получения дополнительной информации о мониторинге других задач данных см. Мониторинг отдельной задачи данных.

Управление задачами данных

Вы можете управлять задачами данных в представлении мониторинга.

1. Выберите одну или несколько задач в представлении мониторинга.

   • Нажмите Запустить, чтобы запустить выбранные задачи.

   • Нажмите Остановить, чтобы остановить выбранные задачи.

Для получения дополнительной информации об управлении задачами данных см.:

• Операции над задачей промежуточного хранения данных

• Операции с задачей хранения данныхОперации с задачей хранения данных

Просмотр истории запусков

Вы можете просмотреть историю запусков задачи, чтобы выявить первопричины и понять закономерности с течением времени.

• Нажмите История запусков в представлении Мониторинг для задачи.

• Нажмите История запусков в меню ... задачи в Представления мониторинга.

В истории запусков отображается до 100 выполнений в зависимости от выбранных фильтров. Уточните критерии фильтрации, чтобы просмотреть другие выполнения. Можно настроить фильтр по дате окончания выполнения и статусу задачи. Информация о запусках хранится в течение 13 месяцев. Метаданные набора данных в запусках хранятся в течение 30 дней.