Анализ происхождения в Analytics

Происхождение отслеживает данные и преобразования данных в обратном направлении до исходного источника. Qlik Cloud предоставляет подробное визуальное представление истории этого потока, где можно в интерактивном режиме изучить восходящее происхождение аналитического контента. Происхождение доступно для такого контента, как приложения, скрипты, потоки данных, рецепты таблиц, эксперименты ML, развертывания ML и наборы данных.

Чтобы просмотреть происхождение аналитического контента, базовые данные должны храниться в Qlik Cloud в качестве каталогизированного источника.

Бизнес-пользователи, изучающие данное поле, видят происхождение этого поля, в котором обобщены его наиболее важные зависимости:

Поля, используемые для его вычисления
Прямые связи и зависимости, включая владельца и пространство
Исходный источник (первый известный источник)

Чтобы просмотреть нисходящие или перспективные зависимости, можно исследовать, на какие элементы повлияет изменение объекта, просмотрев Анализ влияния. См. Анализ влияния в Analytics.

Визуальную демонстрацию использования происхождения см. здесь:

Использование происхождения

Чтобы использовать происхождение, для параметра Просмотр происхождения также должно быть установлено значение Разрешено с помощью роли User Default или пользовательской роли безопасности.

Граф происхождения

Граф Происхождение показывает поток данных через аналитический контент в виде интерактивной графической диаграммы. Ресурс, таблица или поле называются узлом на графе происхождения. Когда узел является исследуемым базовым узлом, говорят, что он находится в фокусе, и он отображается как последний элемент на графе. На самом детальном уровне графы происхождения на уровне полей показывают источники данных и преобразования, из которых получен узел или от которых он зависит.

Графы происхождения полезны для следующих пользователей:

Эксперты по данным, работающие с данными
Бизнес-специалисты, создающие приложения
Продвинутые бизнес-пользователи, использующие приложения
Пользователи, работающие с моделями машинного обучения

Каждый узел представляет собой шаг в происхождении выбранного контента. Эта информация о происхождении компилируется всякий раз, когда аналитический ресурс обновляет свои данные. Если ваше приложение, скрипт, поток данных или рецепт таблицы давно не обновлялись, происхождение может быть неполным или неточным.

Происхождение доступно для поддерживаемых типов контента на плитке или в строке в том виде, в каком они отображаются в вашем каталоге. Вы можете анализировать происхождение для следующего аналитического контента:

Dataset: Наборы данных — это источники данных, например данные, загруженные из коннекторов или файлов данных. Наборы данных могут представлять собой таблицы в базе данных, данные, загруженные в хранилище данных, или данные, созданные из приложения, например файл qvd. Наборы данных обычно содержат по одной таблице каждый, но некоторые, например файлы Excel, могут содержать несколько таблиц.

Наборы данных, опубликованные из Talend Studio, обозначаются значком . Вы можете перейти к задаче Talend Management Console, которая использовалась для создания набора данных, нажав Open TMC Job в меню набора данных .... Для получения дополнительной информации см. раздел Publishing datasets and lineage to Qlik Cloud.
App: Узлы приложений представляют аналитические приложения Qlik Sense, которые используют источники данных в происхождении. В узлах приложений отображается имя приложения и местоположение приложения в виде Qlik Sense.
Script: Узлы скриптов представляют скрипты, созданные в интерфейсе Script.
Data flow: Потоки данных можно проверять для лучшего понимания источников данных, которые они используют и преобразуют.
Table recipe: Рецепты таблиц можно проверять для лучшего понимания источника данных, который они используют и преобразуют.
ML experiment: Вы можете понять происхождение эксперимента машинного обучения, которое состоит из источников данных, объединенных для создания обучающих данных для моделей машинного обучения.
ML deployment: Вы можете понять происхождение развертывания ML и то, как оно используется в прогнозах. Происхождение развертываний ML обычно состоит из экспериментов ML, версий экспериментов, моделей и наборов данных.

Типичные входные узлы включают источники данных, используемые базовым узлом, или приложения, создающие наборы данных. Происхождение на уровне полей позволяет детально исследовать, как вычислялись поля и каково их конкретное происхождение в рамках преобразований и приложений.

Узлы, доступные на графе происхождения, являются входными данными для выбранного контента. Выберите элемент, чтобы назначить его базовым узлом. Входные узлы — это узлы, которые находятся выше по потоку относительно базового узла.

Узлы, доступные на графе происхождения, являются входными данными для выбранного базового узла, другими словами, узла в фокусе. Базовый узел — это единственный узел, для которого требуется получить происхождение; например, это может быть приложение, поток данных, эксперимент ML, набор данных, файл, таблица или поле.

Он будет самым правым узлом на экране и будет обведен синей рамкой. Он является фокусом вашего исследования, и будут представлены только входные данные для этого базового узла.

Во время изучения происхождения вы можете в интерактивном режиме изменить базовый узел на другую таблицу, приложение, поле или другой элемент на экране, чтобы сфокусировать свое исследование.

Узел в фокусе, также называемый базовым узлом, будет находиться в правой части экрана — Базовый узел происхождения

Линии, соединяющие узлы, называются ребрами. Ребра представляют связь одного узла с другим. Они представляют связи, указывающие на ассоциации, такие как набор данных, используемый приложением. Они также могут представлять данные, созданные в качестве побочного продукта приложения. Совокупность узлов и ребер вместе образует граф происхождения.

Ребра представляют связи между объектами — Ребра происхождения представляют связи

Узлы сворачиваются или разворачиваются для отображения уровней иерархии от грубой до более тонкой детализации, начиная с группы наборов данных или приложения более высокого уровня и заканчивая самым детальным уровнем — уровнем полей.

Узел с уровнями ресурса, источника, таблицы и полей — На этом изображении узла показаны следующие уровни иерархии, от самого высокого (наименее детального) до самого низкого (наиболее детального): информационный ресурс (приложение), ресурс (набор данных), таблица и поля.

Открытие графа происхождения

Выполните следующие действия.

Откройте центр активности Insights или Analytics.
Выберите Tools > Lineage в контекстном меню для элемента, поддерживающего происхождение.

Вы также можете получить доступ к графу происхождения некоторого контента, когда элемент открыт. Нажмите Дополнительно и выберите Lineage.

Сведения об узле

Сведения ограничены вашим доступом к этому объекту. В сведениях может быть представлена следующая информация:

Имя
Описание
Теги
Местоположение
Пространство
Владелец
Создатель
Дата последнего изменения

Навигация по графу происхождения

Нажмите и перетащите граф, чтобы перемещаться по нему и центрировать граф происхождения. Также можно использовать кнопки навигации. Выберите «Домой» , чтобы центрировать граф происхождения на базовом узле. Нажимайте кнопки «Назад» и «Вперед» для перемещения по выбранным элементам.

Кнопки навигации для графа происхождения. — Навигация по графу происхождения

Граф Lineage показывает восходящие зависимости для вашего аналитического контента, который представлен в качестве узла по умолчанию при открытии графа для него. Вы можете получить доступ к происхождению (восходящему) или анализу влияния (нисходящему) для других узлов, отображаемых на графе, выбрав Дополнительно и Lineage (new base node) или Impact analysis. Выберите узел, чтобы назначить его базовым узлом.

Разверните Стрелка вниз или сверните Стрелка вверх узлы, чтобы развернуть или свернуть группы объектов на одном уровне.

Параметр меню для анализа различных узлов

Сводное представление происхождения в приложении

Сводное представление происхождения в приложении может предоставить бизнес-пользователям высокоуровневый обзор восходящих зависимостей в приложении. Для получения дополнительной информации см. Вид сводки происхождения в приложении.

Анализ происхождения для контента машинного обучения

Вы можете использовать граф Lineage для анализа происхождения контента машинного обучения, включая эксперименты ML, развертывания ML и наборы данных. Используйте граф для целостного представления о том, как создавались модели машинного обучения, на каких данных они обучались и для чего они используются в производственных сценариях.

Эксперименты, развертывания и наборы данных также отображаются в виде узлов при анализе другого контента на графе Lineage, такого как нисходящие приложения.

Ресурсы машинного обучения также отображаются в разделе Impact analysis для всестороннего анализа нисходящего контента. Для получения дополнительной информации см. Анализ влияния в Analytics.

Открытие Lineage для контента машинного обучения

Выполните одно из следующих действий:

В своем центре активности нажмите рядом с экспериментом ML, развертыванием ML или набором данных и выберите Tools > Lineage.
В эксперименте ML или развертывании ML нажмите на панели навигации и выберите Lineage.

Навигация по Lineage для контента машинного обучения

Вы можете исследовать узлы машинного обучения так же, как и другой контент. Обзоры интерфейса см. в следующих разделах:

Граф происхождения
Навигация по графу происхождения

Распознавание элементов машинного обучения на графе Lineage

В следующей таблице перечислены общие элементы, связанные с машинным обучением, которые отображаются на графе Lineage.

Общие элементы происхождения для машинного обучения
Элемент	Значок (значки)	Пояснение
Файловое хранилище		Не уникально для контента машинного обучения. Показывает местоположение, в котором хранится набор данных (в большинстве случаев в пространстве). Актуально для обучающего набора данных, экспорта из встроенной аналитики в эксперименте, применяемых наборов данных, используемых для прогнозов, и выходных наборов данных прогнозирования.
Набор данных	Многие (например, для QVD)	Не уникально для контента машинного обучения. Используется для представления обучающих наборов данных, экспорта из встроенной аналитики в эксперименте, применяемых наборов данных и выходных наборов данных прогнозирования.
Эксперимент ML		Эксперимент ML, в котором обучаются модели.
Версия эксперимента ML		Версия в рамках эксперимента ML, в которой была обучена одна или несколько моделей.
Модель ML		Модель ML, обученная в рамках версии эксперимента. Используется для представления обученных моделей в эксперименте ML и развернутых моделей в развертывании ML.
Развертывание ML		Развертывание ML, содержащее одну или несколько развернутых моделей.
Нет значка	-	Узлы вывода прогнозов в развертывании ML не имеют значков. Поля, включенные в выходной набор данных прогнозирования, также не имеют значков.

Происхождение и эксперименты ML

Эксперименты ML представлены в виде сгруппированных структур. Они разворачиваются следующим образом:

Эксперимент ML разворачивается в одну или несколько версий эксперимента.
Версия эксперимента разворачивается в одну или несколько моделей ML.

Когда модель, обученная в эксперименте, развертывается в развертывании ML, она появляется на графе происхождения, когда нисходящий контент (например, прогнозы или развертывания ML) выбран в качестве базового узла.

Происхождение и развертывания ML

Развертывания ML представлены в виде сгруппированных структур. Они разворачиваются следующим образом:

Развертывание ML разворачивается в одну или несколько развернутых моделей.
Если модель в развертывании использовалась в пакетных прогнозах, модель разворачивается для отображения каждого вывода пакетного прогнозирования.

Происхождение на уровне полей доступно для применяемых наборов данных и выходных наборов данных прогнозирования, связанных с развертыванием ML.

Развернутые модели, используемые для прогнозов, связаны с экспериментом, в котором они были обучены.

Пример сценария

Пример сценария см. в разделе Пример: Исследование происхождения контента машинного обучения.

Ограничения

Граф происхождения имеет следующие ограничения:

Для приложений, которые не были перезагружены после выпуска функции происхождения в Qlik Cloud, полная информация о происхождении может быть недоступна до их перезагрузки. Сведения о некоторых узлах могут быть ограничены, если они не были загружены после включения функции происхождения для вашего клиента.
Сведения об узлах для наборов данных за пределами вашего клиента, таких как подключения SQL Server или Google Drive, ограничены типом набора данных и именем. Для подключений REST отображается только то, что это данные REST.
Если элемент удален, он все еще может отображаться в разделе Lineage при анализе других узлов.

Разрешения

Вы должны иметь возможность просматривать элемент, чтобы просматривать его происхождение из своих центров активности. Если вы видите граф происхождения для базового узла, вы можете просматривать основные сведения и метаданные для восходящих объектов происхождения.

Безопасность

Пользователь может переключиться только на тот базовый узел, к которому у него есть доступ; в противном случае контекстное меню недоступно.
Если у пользователя есть доступ к базовому узлу, у него будет доступ к просмотру всего восходящего происхождения.

Примеры вариантов использования для анализа происхождения

Пошаговое руководство по анализу происхождения см. в разделе Варианты использования происхождения на уровне полей.

Пример: Изучение происхождения информации с помощью сводного представления происхождения

Как потребитель аналитики, просматривающий линейчатую диаграмму в приложении cars-data4-app, вы хотите знать, откуда поступает информация. Убедитесь, что для диаграммы включены параметры Show details и Show expressions в разделе Appearance > General в свойствах, затем переключитесь в режим анализа листа. Щелкните диаграмму правой кнопкой мыши или используйте меню значок дополнительных действий и выберите Show details, чтобы отобразить представление происхождения для потребителя. Нажмите Show dependencies.

Вы видите, что измерение Car_ID зависит от поля Car_ID, которое находится в трех перечисленных источниках CSV. Выберите меню значок дополнительных действий в записи поля и выберите Lineage - Car_ID / Cars, чтобы открыть граф происхождения для поля Car_ID в приложении.

Выберите меню, а затем параметр для просмотра происхождения источника в сводном представлении происхождения для потребителя — Выберите источник или поле, чтобы просмотреть происхождение для этого объекта

Граф происхождения рассматривается справа налево и показывает, что поле Car_ID находится в таблице Cars, которая была загружена в приложение cars-data4-app. Разверните Стрелка вниз узлы, чтобы проследить историю поля до исходного файла, загруженного в Qlik Cloud. Вы видите, что первый шаг назад показывает, что файл CSV cars-data.csv, содержащий поле Car_ID, был загружен в приложение cars-data4-app. Следующим узлом назад является приложение cars-data3-app, из которого был создан файл cars-data.csv. Вернувшись еще на один шаг назад и развернув узел, вы увидите, что исходным файлом источника был файл CSV cars-data3.csv, содержащий поле ID.

Разворачивая таблицы и просматривая поля, вы можете определить исходный файл источника, таблицу и поле измерения линейчатой диаграммы Car_id-ID.

Начните с узла в фокусе и проследите историю происхождения до исходного источника — Разверните узлы, чтобы проследить историю поля до исходного файла

Пример: Исследование происхождения набора данных и процесса его создания

Как разработчик приложений, вы рассматриваете возможность использования существующего набора данных current_customers_analytics.xlsx для своего приложения. Вы исследуете происхождение этого набора данных, чтобы понять, откуда поступают данные. На плитке или в строке набора данных выберите Lineage в меню Дополнительно , чтобы открыть граф происхождения. На графе происхождения изучите метаданные набора данных, выбрав меню значок дополнительных действий для файла XLSX current_customers_analytics.xlsx и нажав Open обзор.

Обзор набора данных можно открыть из графа происхождения — Открытие обзора набора данных из графа происхождения

Доступ к обзорам наборов данных можно получить из графа происхождения — Просмотр тегов, классификаций и других технических метаданных на вкладке обзора набора данных

Вкладка профиля полей доступна из графа происхождения — Профиль данных доступен на вкладке Profile

Нажмите стрелку «Назад» в браузере, чтобы вернуться к графу происхождения и изучить его для набора данных. Разверните Стрелка вниз узел current_customers_analytics.xlsx и нажмите Select all, чтобы просмотреть доступные поля. Сделайте то же самое для всех узлов. Обратите внимание, что для каждого поля доступен параметр, позволяющий сделать его базовым узлом в фокусе путем выбора Lineage (new base node) или параметр Impact analysis для просмотра прямого происхождения и зависимых объектов, на которые повлияют изменения в наборе данных.

Просмотр происхождения для набора данных — Развернутый граф Lineage для набора данных. Каждое поле в каждом узле будет иметь параметры для открытия приложения или данных, просмотра анализа влияния или изменения узла в фокусе

Прослеживая происхождение в обратном направлении и разворачивая узлы, вы увидите, что этот набор данных XLSX является выходным результатом приложения Prep Current Customers Sales - Analytics. Вернувшись еще на один шаг назад и развернув узел File storage, вы увидите, что в приложение для анализа продаж был загружен файл CSV: rgb_customers.csv. Анализ на уровне полей показывает, что поле Tags в исходном файле источника было переименовано в rgb_customers.Tags в приложении для анализа продаж. Исходный файл CSV можно открыть в режиме обзора, чтобы просмотреть ценные метаданные, такие как владелец, создатель, показатели использования, теги, классификации, профиль полей и анализ влияния.

Пример: Исследование происхождения контента машинного обучения

Обычный бизнес-пользователь или эксперт по машинному обучению может использовать граф Lineage для проверки происхождения определенных прогнозируемых значений. Если в качестве базового узла установлен набор данных прогнозирования, этот пользователь может видеть следующее:

Обучающие данные, включая их источники и преобразования
Эксперимент, версию эксперимента и модель
Где была развернута модель и как она использовалась

Граф происхождения, показывающий сквозной поток от подготовки обучающих данных до набора данных прогнозирования — Граф происхождения со всеми развернутыми узлами. Граф показывает сквозной поток от подготовки обучающих данных до набора данных прогнозирования.

На изображении выше показан следующий процесс:

Поток данных загружает и преобразует данные из набора данных CSV , хранящегося в личном пространстве . Выходные данные сохраняются в набор данных Parquet в том же пространстве.
Набор данных Parquet используется в версии 1 эксперимента ML . В этой версии эксперимента обучается модель ML .
Модель ML развертывается в развертывании ML .
Используя набор данных CSV в личном пространстве в качестве применяемого набора данных, развертывание ML создает набор данных прогнозирования в формате Parquet .

Происхождение в Data Integration

Граф Lineage также доступен в Data Integration. Для получения дополнительной информации см. Анализ происхождения в Data Integration.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице или с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом!

Оставьте свой отзыв здесь