Мониторинг индивидуальной задачи данных

Можно отслеживать состояние и ход выполнения задач данных, выбрав Мониторинг в раскрывающемся списке в верхнем левом углу окна задачи данных.

Также можно создавать виды мониторинга для отслеживания нескольких задач данных. Для получения дополнительной информации см. раздел Мониторинг и управление задачами данных.

Общий мониторинг обзор

Вид мониторинга доступен для всех типов задач и позволяет отслеживать состояние и метрики задач:

Вкладки

Переключайтесь между доступными вкладками — такими как Информация, Полная загрузка, Обработка изменений, Пакетная обработка или Потоковая обработка — в зависимости от типа задачи. Подробную информацию о каждой вкладке см. в соответствующем разделе задач ниже.
Фильтр статуса набора данных

Линейчатая диаграмма над таблицей наборов данных показывает, сколько наборов данных находится в каждом статусе: В очереди, Загрузка, Завершено и Ошибка. Диаграмма динамически обновляется по мере изменения статусов набора данных. Нажмите на сегмент статуса, чтобы отфильтровать таблицу наборов данных и показать только наборы данных в этом статусе.
Скрыть виджеты

Щелкните Скрыть виджеты, чтобы свернуть виджеты метрик. Это предоставляет больше места для просмотра таблицы наборов данных ниже.
Дата начала

Дата и время начала выполнения текущей задачи.
Дата окончания

Дата и время окончания выполнения задачи. Это отображается только для завершенных запусков задач.
История запусков

Нажмите История выполнения, чтобы просмотреть список предыдущих выполнений задач и их результатов.

Мониторинг задач перемещения данных

Доступные варианты мониторинга определяются как типом задачи, так и типом коннектора. Поскольку некоторые коннекторы не поддерживают CDC (например, Epicor), варианты мониторинга, относящиеся к CDC, не будут показаны для этих коннекторов. Поскольку некоторые коннекторы не поддерживают полную загрузку, варианты мониторинга, относящиеся к полной загрузке, не будут показаны для этих коннекторов.

Сценарий применения для конвейера данных: задачи промежуточного хранения

Все задачи промежуточного хранения должны начинаться с полной загрузки исходных данных в цель. После завершения первоначальной полной загрузки целевые данные обновляются при внесении изменений в исходные данные. Это может осуществляться в режиме Перезагрузка и сравнение или Захват изменений данных (CDC) в соответствии с определением задачи.

Для получения дополнительной информации о задачах промежуточного хранения см. раздел Промежуточное хранение данных, полученных из источников данных.

Сценарий применения репликации: задачи репликации данных

Задачи репликации данных обычно начинаются с полной загрузки исходных данных в цель. В следующей таблице приведены примеры использования полной загрузки.

Вариант использования	Полная загрузка
Репликация из приложений SaaS.	Требуется
Репликация из других типов источников данных, таких как базы данных	Дополнительный

При репликации из источников приложений, не относящихся к SaaS, если исходные данные уже существуют в цели и требуется только применить изменения источника к цели (или сохранить их для последующего применения), то режим репликации может быть Применить изменения, Сохранить изменения или оба. Эти два режима репликации отображаются на экране мониторинга CDC.

Для получения дополнительной информации о задачах «Репликация данных» см. следующие разделы:

Репликация данных при использовании подписки Standard, Premium или Enterprise

Репликация данных с использованием подписки Qlik Talend Cloud Starter

Сценарий применения репликации: задачи промежуточного хранения в озере данных

Задачи промежуточного хранения данных в озере данных похожи на задачи промежуточного хранения тем, что они должны начинаться с полной загрузки. После завершения первоначальной полной загрузки целевые данные обновляются при внесении изменений в исходные данные. Это может осуществляться в режиме Перезагрузка или Захват изменений данных (CDC). Несмотря на сходство с задачами промежуточного хранения, задачи промежуточного хранения данных в озере данных относятся к задачам репликации, так как они включают только репликацию источника в цели. Они не позволяют выполнять дальнейшие манипуляции с данными (например, применять преобразования и киоски данных), которые доступны в конвейере данных.

Шаги для создания отдельной задачи «Промежуточное хранение данных в озере данных» неприменимы для подписки Qlik Talend Cloud Starter. При использовании подписки Qlik Talend Cloud Starter репликация в цели ― облачные хранилища осуществляется с использованием стандартной задачи «Реликация данных».

Для получения дополнительной информации о задачах промежуточного хранения данных в озере данных см. раздел Промежуточное хранилище данных в озере данных при использовании подписки Standard, Premium или Enterprise.

Обновление метаданных после добавления новых столбцов в источник приложения SaaS

Когда новые столбцы добавляются в источник приложения SaaS после того как задача уже запущена, необходимо обновить метаданные, чтобы предотвратить потерю данных.

Как это сделать:

Откройте и пересохраните подключение.
Подготовьте задачу, как описано в Создание и управление проектами конвейера данных.

Мониторинг сведений

Доступны следующие сведения мониторинга:

Информация
Полная загрузка
Обработка изменений
Стриминг

Доступно только для потоковых задач промежуточного хранения.

Информация мониторинг сведений

Можно просмотреть общую информацию о задаче, Идентификатор запуска и когда данные были обновлены. Для задач CDC информация о расписании также доступна на этой вкладке.

Информация о мониторинге полной загрузки

В разделе Полная загрузка доступны следующие статистические данные по задаче данных:

Всего наборов данных

Количество загруженных наборов данных.
Наборы данных с ошибками

Количество наборов данных с ошибками.
Общая задержка

Текущая задержка задачи (чч:мм:сс). Это значение соответствует времени с момента появления изменения в источнике до применения и появления изменения в целевом объекте или промежуточном хранении.
Общая пропускная способность

Целевая пропускная способность в килобайтах/секунду. Показывает скорость, с которой измененные записи загружаются в целевой объект.

Для каждого набора данных в задаче данных можно просмотреть следующие сведения:

Имя

Имя целевого набора данных.
Состояние

Состояние таблицы будет: В очереди, Загрузка, Завершено, Полная загрузка не завершена или Ошибка.

При загрузке данных из источника приложения SaaS, в мониторе может иногда отображаться состояние Полная загрузка не завершена из-за временных прерываний. Такие прерывания могут быть вызваны превышением квоты данных приложения SaaS, нестабильностью сервиса и другими причинами.

Задача будет возобновлена автоматически при следующем запланированном экземпляре CDC. Однако, полная загрузка может оставаться приостановленной, если проблема, вызвавшая прерывание, еще не устранена. Вы также можете возобновить задачу вручную, вместо того чтобы ждать следующего запланированного экземпляра CDC.
Выполнение начато

Время начала загрузки.
Выполнение завершено

Время завершения загрузки.
Длительность

Длительность загрузки в формате чч:мм:сс.
Записи

Число записей, которые были записаны в целевой объект во время загрузки.
Примечание к информации
Когда исходные наборы данных отфильтрованы, Записи будут заменены следующими разделами:
- Прочитанные записи: Количество записей, прочитанных из исходных наборов данных до фильтрации.
- Записанные записи (после фильтрации): Количество записей, фактически записанных в целевой объект после фильтрации.
Для получения информации о фильтрации наборов данных см. Фильтрация набора данных.
Сообщение

Отображает сообщение об ошибке, если загрузка не была успешно обработана.

Данные мониторинга обработки изменений

Обработка изменений отображает количество изменений, примененных ко всем таблицам во время последнего запуска CDC или во время текущего запуска, если он еще не завершен. Чтобы просмотреть количество изменений, примененных к отдельным наборам данных с момента запуска задачи, см. таблицу Наборы данных.

Вы можете просмотреть следующую статистику обработки изменений:

Всего наборов данных

Количество загруженных наборов данных.
Наборы данных с ошибками

Количество наборов данных с ошибками.
Общая задержка

Текущая задержка задачи (чч:мм:сс). Это значение соответствует времени с момента появления изменения в источнике до применения и появления изменения в целевом объекте или промежуточном хранении.
Общая пропускная способность

Целевая пропускная способность в килобайтах/секунду. Показывает скорость, с которой измененные записи загружаются в целевой объект.
Всего входящих изменений

Количество изменений, присутствующих в источнике и ожидающих обработки. Можно проверить, сколько накоплено в источнике, и сколько применяется.
Всего примененных изменений

Количество изменений, примененных к цели или промежуточное хранение. Можно просмотреть количество добавлений, удалений и обновлений.

Для каждой из таблиц в задаче данных выводятся следующие сведения:

Столбцы Вставки, Обновления и Удаления не отображаются для задач, определенных с помощью коннекторов приложений SaaS, так как все операции являются вставками.

Имя

Имя целевой таблицы в ресурсе промежуточного хранения.
Состояние

Таблица имеет одно из следующих состояний: Накопление изменений, Ошибка или Завершено (для запланированных задач CDC).
Последняя обработка

Дата и время последних изменений в таблице.
Вставки, Обновления и Удаления
Примечание к информации
При фильтрации исходных наборов данных столбцы Вставки, Обновления и Удаления будут сгруппированы следующим образом:
- Прочитано: Количество изменений (вставки, обновления и удаления), прочитанных из исходных наборов данных до фильтрации.
- Записано (после фильтрации): Количество изменений (вставок, обновлений и удалений), фактически записанных в целевой объект после фильтрации.
Для получения информации о фильтрации наборов данных см. Фильтрация набора данных.
- Вставки
  
  Число операций вставки.
- Обновления
  
  Число операций обновления.
  
  Примечание к информацииОбновления обрабатываются как вставки для источников приложения SaaS.
- Удаления
  
  Число операций удаления.
DML (вставки/обновления)

Примечание к информацииЭтот столбец отображается только для задач, определенных с помощью коннектора приложений SaaS.
Примечание к информации
При фильтрации исходных наборов данных столбцы Вставки, Обновления и Удаления будут сгруппированы следующим образом:
- Прочитанные DML (Вставки/Обновления): Количество DML (вставок и обновлений), прочитанных из исходных наборов данных до фильтрации.
- Записанные DML (вставки/обновления): Количество DML (вставок и обновлений), фактически записанных в целевой объект после фильтрации.
Для получения информации о фильтрации наборов данных см. Фильтрация набора данных.
Операции DDL

Число операций DDL.

Примечание к информацииДоступно только для задач репликации данных.
Сообщение

Если не удалось обработать или применить изменения к таблице, выводится сообщение об ошибке.

Если выполняется промежуточное хранение данных из локального источника и выбран режим Полная загрузка, таблицы перезагружаются автоматически при запуске выполнения ресурса промежуточного хранения.

Если выполняется промежуточное хранение данных из локального источника и выбран режим Полная загрузка и CDC, обновление таблиц новыми данными происходит непрерывно после начальной полной загрузки.

Перезагрузка выбранных таблиц

Можно вручную перезагружать выбранные таблицы из источника. Это полезно, когда требуется восстановить одиночные таблицы с ошибкой. Перезагрузка таблиц не влияет на временную шкалу CDC, которая сбрасывается при использовании команды Воссоздать таблицы. При перезагрузке страниц не распространяются изменения метаданных.

Чтобы перезагрузить выбранные таблицы, выберите таблицы в нижней половине экрана Мониторинг и щелкните Перезагрузить таблицы.

Необходимы те же разрешения, что и для выполнения задачи данных, то есть Владелец или Может выполнять задачи оператора.

Команда Перезагрузить таблицы доступна после первого выполнения задачи данных. Если выбран метод обновления Перезагрузка и сравнение, команда Перезагрузить таблицы недоступна в процессе выполнения задачи данных.

Дальнейшие задачи хранения данных будут синхронизированы при следующем выполнении. Если для задачи хранения включена история, то будет сохраняться история.

Если не удается выполнить восстановление путем перезагрузки таблиц, следующим шагом необходимо исправить задачу данных.

Перезагрузка всех таблиц в цель

Можно перезагрузить все таблицы в цель, если возникают проблемы с CDC, которые невозможно решить путем перезагрузки конкретных таблиц. В качестве примеров проблем можно привести отсутствующие события, проблемы, вызванные реорганизацией исходной базы данных, или ошибку чтения событий исходной базы данных.

Этот параметр доступен только для задач с методом обновления Захват изменений данных (CDC), если эти задачи запускались хотя бы один раз.

Остановите задачу данных и все задачи, которые ее используют.
Откройте задачу данных и перейдите вкладку Мониторинг.
Щелкните ..., а затем Перезагрузить цель.

В результате этого все таблицы будут перезагружены в цель с использованием операции «Отбросить-Создать» (Drop-Create), а также будут перезапущены все процессы захвата изменений данных с этого момента.

Задачи хранения, которые используют эту задачу промежуточного хранения, будут перезагружены в режиме «Сравнить и применить» для синхронизации при следующем запуске. Существующая история будет сохранена. История типа 2 будет обновлена с учетом изменений после выполнения процесса «Перезагрузка и сравнение».

Метка времени для начальной даты в истории типа 2 будет отражать дату перезагрузки, а не фактическую дату внесения изменения в источник.
Виды хранения в реальном времени не будут надежными во время операции перезагрузки цели и до окончания синхронизации. Хранилище полностью синхронизируется, когда:
- все таблицы перезагружаются в режиме «Сравнить и применить»,
- один цикл изменений выполняется для каждой таблицы.

Мониторинг задач, связанных с хранением, преобразованием, киосками данных и баз знаний и зеркалированием

Можно отслеживать состояние и ход выполнения задачи «Хранение», «Преобразование», «Киоск данных», «Зеркалирование» или «Киоск базы знаний».

Доступны следующие сведения мониторинга:

Информация
Полная загрузка
Пакет

Информация мониторинг сведений

Можно просмотреть общую информацию о задаче, идентификатор запуска и когда данные были обновлены.

Информация о мониторинге полной загрузки

Информация о мониторинге полной загрузки неактуальна для задач, определенных с помощью коннектора приложений SaaS, и поэтому не отображается.

В разделе Полная загрузка доступны следующие статистические данные по задаче данных:

Всего наборов данных

Количество загруженных наборов данных.
Наборы данных с ошибками

Количество наборов данных с ошибками.
Общая пропускная способность

Целевая пропускная способность в килобайтах/секунду. Показывает скорость, с которой измененные записи загружаются в целевой объект.

Пакетный мониторинг сведений

Можно просмотреть статистику для пакетов изменений:

Всего наборов данных

Количество загруженных наборов данных.
Наборы данных с ошибками

Количество наборов данных с ошибками.
Общая задержка

Текущая задержка задачи (чч:мм:сс). Это значение соответствует времени с момента появления изменения в источнике до применения и появления изменения в целевом объекте или промежуточном хранении.
Общая пропускная способность

Целевая пропускная способность в килобайтах/секунду. Показывает скорость, с которой измененные записи загружаются в целевой объект.
Источник

Задержка и пропускная способность в источнике.
Цель

Задержка и пропускная способность в целевом объекте.
Всего входящих изменений

Количество изменений, присутствующих в источнике и ожидающих обработки. Можно проверить, сколько накоплено в источнике, и сколько применяется.
Всего примененных изменений

Количество изменений, примененных к цели или промежуточное хранение. Можно просмотреть количество добавлений, удалений и обновлений.

Просмотр состояния и хода выполнения

Для каждого набора данных или изменения можно просмотреть следующие сведения в Наборы данных:

Имя

Имя целевого набора данных.
Состояние

Состояние таблицы будет: В очереди, Загрузка, Завершено или Ошибка.
Выполнение начато

Время начала загрузки.
Выполнение завершено

Время завершения загрузки.
Длительность

Длительность загрузки в формате чч:мм:сс.
Записи

Число записей, которые были записаны в целевой объект во время загрузки.
Примечание к информации
Когда исходные наборы данных отфильтрованы, Записи будут заменены следующими разделами:
- Прочитанные записи: Количество записей, прочитанных из исходных наборов данных до фильтрации.
- Записанные записи (после фильтрации): Количество записей, фактически записанных в целевой объект после фильтрации.
Для получения информации о фильтрации наборов данных см. Фильтрация набора данных.
Сообщение

Отображает сообщение об ошибке, если загрузка не была успешно обработана.

Данные из всех исходных транзакций до времени, указанного в поле Задача данных обновлена до, доступны для использования из этой задачи данных. Эта информация доступна для ресурса данных после загрузки всех таблиц и применения первого набора изменений. Если выбрано создание видов в реальном времени, можно также просмотреть, когда они обновляются.

Если имеется пакет изменений до завершения начальной загрузки, поле Задача данных обновлена до будет обновлено только после завершения начальной загрузки и применения первого пакета изменений. Например, предположим, что загружается ресурс данных, содержащий набор данных заказов с 1 миллионом заказов и набор данных сведений о заказах с 10 миллионами сведений о заказах. Для выполнения полной загрузки наборов данных требуется 10 и 20 минут соответственно. Сначала загружается набор данных заказов, а затем — набор данных сведений о заказах. Во время загрузки набора данных заказов был добавлен новый заказ. Поэтому, когда загрузятся сведения о заказах, они могут содержать сведения о новом заказе, который еще не существует в наборе данных заказов. Наборы данных заказов и сведений о заказах будут синхронизированы и полностью обновлены до одного и того же времени только после применения первого пакета изменений.

Просмотр подробной информации

Подробную информацию можно просмотреть на уровне операторов SQL.

Выберите наборы данных для подробного мониторинга.
Щелкните Мониторинг сведений.

Мониторинг сведений отображается, и можно просмотреть команды, выполняемые на каждом этапе процесса загрузки или изменения. Можно щелкнуть команду, чтобы просмотреть полный текст выполненных операторов SQL.

Нажмите Экспорт в CSV, чтобы экспортировать текстовый файл с полными операторами SQL для всех перечисленных команд.

Задача данных обновлена до для видов

В поле Задача данных обновлена до отображается время, до которого обновлен самый старый вид.

Стандартные виды

Задача данных обновлена до показывает время, до которого обновлен самый старый вид.

Например, задача включает две таблицы: Orders (Заказы) и Order details (Сведения о заказах). Таблица Orders обновлена до 10:01 и теперь включает записи с метками времени 10:00 и 10:01, а таблица Order details содержит записи только с метками времени 10:00. В данном случае задача данных обновлена до 10:00. Эту метку не следует путать с временем начала и окончания загрузки задачи данных, которая могла проходить с 10:02 по 10:03.
Виды в реальном времени (задачи хранения данных)

В поле Задача данных обновлена до отображается время, до которого обновлен самый старый вид в реальном времени.

Например, задача включает таблицу Orders (Заказы). Таблица Orders на промежуточном хранении обновлена до 10:01 и теперь включает записи с метками времени 10:00 и 10:01, а таблица Order в хранилище содержит записи только с метками времени 10:00. В данном случае виды в реальном времени для Orders обновлены до 10:01, а стандартные виды — до 10:00.

Просмотр истории запусков

Вы можете просмотреть историю запусков задачи, чтобы выявить первопричины и понять закономерности с течением времени.

Нажмите История запусков в представлении Мониторинг для задачи.
Нажмите История запусков в меню ... задачи в Представления мониторинга.

В истории запусков отображается до 100 выполнений в зависимости от выбранных фильтров. Уточните критерии фильтрации, чтобы просмотреть другие выполнения. Можно настроить фильтр по дате окончания выполнения и статусу задачи. Информация о запусках хранится в течение 13 месяцев. Метаданные набора данных в запусках хранятся в течение 30 дней.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице или с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом!

Оставьте свой отзыв здесь