Анализ происхождения в Аналитика

Происхождение позволяет прослеживать данные и их преобразования назад к первоначальному источнику. В Qlik Cloudсоставляется подробное визуальное представление истории этого потока, в котором в интерактивной форме можно исследовать происхождение аналитического контента. Происхождение доступно для такого контента, как приложения, скрипты, потоки данных, Рецепты таблиц, эксперименты машинного обучения, развертывания машинного обучения и наборы данных.

При использовании аналитического приложения можно получить обобщенный вид происхождения, в котором представлены меры и измерения, используемые в конкретном объекте диаграммы. В этом виде можно установить источник, что позволяет удостовериться в том, что вы правильно понимаете данные и данные, с которыми вы работаете, являются надежными. Для получения дополнительной информации см. раздел Вид сводки происхождения в приложении.

Для просмотра происхождения аналитического контента данные, лежащие в основе такого контента, должны быть сохранены в Qlik Cloud в виде каталогизированного источника.

Бизнес-пользователи, изучающие данное поле, могут просматривать происхождение поля, в котором сведены самые важные зависимости:

Поля, используемые для его получения
Прямые ассоциации и зависимости, включая владельца и пространство
Первоначальный источник (первый известный источник)

Для просмотра нижестоящих или прямых зависимостей можно исследовать, какие элементы будут затронуты изменением объекта, оценив Анализ воздействия. См. Интерпретация анализа воздействия в Аналитика.

Видеоролик по использованию происхождения данных:

Использование происхождения данных

Происхождение можно использовать, если в параметре Просмотр происхождения задано Разрешено. Это может быть сделано через User Default или пользовательскую роль безопасности.

График происхождения

На графе происхождения поток данных через аналитический контент представлен в виде интерактивной диаграммы. Приложение, таблица или поле называются узлом в графе происхождения. Когда узел является базовым узлом для исследования, он находится в фокусе и отображается в качестве последнего элемента на графике. На самом детализированном уровне графика происхождения на уровне поля отображаются источники данных и преобразования, на основе которых был построен узел.

Графы происхождения полезны следующим пользователям:

эксперты по работе с данными,
бизнес-специалисты, разрабатывающие приложения,
продвинутые бизнес-пользователи, работающие с приложениями.
Пользователи, работающие с моделями машинного обучения

Каждый узел соответствует одному шагу в происхождении выбранного контента. Информация о происхождении сохраняется всякий раз, когда аналитический ресурс обновляет свои данные. Если ваше приложение, скрипт, поток данных или Рецепт таблицы не обновлялись в последнее время, происхождение может быть неполным или неточным.

Происхождение доступно для поддерживаемых типов контента. Его можно открыть из панели или строки в каталоге. Можно выполнить анализ происхождения следующего аналитического контента:

Набор данных: наборы данных — это источники данных, такие как данные, загруженные из коннекторов или файлов данных. Наборы данных могут представлять собой таблицы в базе данных, данные, загружаемые в хранилище данных, или данные, создаваемые в приложении, такие как файлы qvd. Наборы данных обычно включают одну таблицу, но некоторые, такие как файлы Excel, могут содержать несколько таблиц.

Наборы данных, которые были опубликованы из Talend Studio, обозначены . Чтобы открыть задание Talend Management Console, которое использовалось для создания набора данных, нажмите Открыть задание TMC в меню набора данных .... Для получения дополнительной информации см. Публикация наборов данных и графа происхождения в Qlik Cloud.
Приложение: узлы приложений представляют аналитические приложения Qlik Sense, которые используют источники данных в происхождении. Узлы приложений отображают имя и местоположение приложения как Qlik Sense.
Скрипт: в этих узлах представлены скрипты, созданные в интерфейсе Скрипт.
Поток данных: потоки данных можно исследовать для лучшего понимания источников, используемых и преобразуемых в потоках данных.
Рецепт таблицы: Рецепты таблиц можно проверить для лучшего понимания источника данных, которые они используют и преобразуют.
Эксперимент машинного обучения: позволяет понять происхождение данных для эксперимента по машинному обучению, то есть источников, из которых собраны и получены обучающие данные, используемые в модели машинного обучения.
Развертывание машинного обучения: позволяет понять происхождение развертывания машинного обучения и то, как оно используется в прогнозах. Происхождение развертываний машинного обучения обычно состоит из экспериментов, версий экспериментов, моделей и наборов данных.

Типичные входные узлы включают источники данных, используемые базовым узлом, или приложения, которые создают наборы данных. Происхождение на уровне поля позволяет провести детальное исследование того, как рассчитываются поля, и установить их специфический источник с учетом преобразований и приложений.

Узлы, доступные на графе происхождения, являются входными точками для выбранного контента. Выберите элемент, который будет базовым узлом. Входные узлы — это вышестоящие узлы по отношению к базовому.

Узлы, доступные на графике происхождения, являются входными данными для выбранного базового узла, то есть узла в фокусе. Базовый узел — это одиночный узел, для которого требуется получить происхождение; это может быть приложение, поток данных, эксперимент машинного обучения, набор данных, файл, таблица или поле.

Это будет крайний правый узел на экране, выделенный синим. Это фокус исследования, и будут представлены только входные данные в этот базовый узел.

Исследуя происхождение, можно интерактивным образом выбрать в качестве базового узла другую таблицу, приложение, поле или объект на экране и таким образом перенести на него фокус исследования.

Узел в фокусе, также называемый базовым узлом, будет отображаться в правой части экрана — Базовый узел происхождения

Линии, соединяющие узлы, — ребра. Ребра представляют отношения между узлами. Они представляют отношения, указывая на связи, такие как использование набора данных приложением. Они также могут представлять данные, которые образуются в качестве сопутствующего продукта работы приложения. Набор узлов и ребер образует график происхождения.

Ребра представляют собой отношения между объектами — Ребра происхождения представляют отношения

Узлы сворачиваются или разворачиваются, позволяя просматривать уровни иерархии с более крупной и мелкой детализацией начиная от группы набора данных или приложения и до самого детализированного уровня, то есть уровня поля.

Узел с уровнями актива, ресурса, таблицы и поля — На этом изображении узла показаны разные уровни иерархии – от верхнего (самый грубый анализ) до нижнего (самый детальный): ресурс данных (приложение), ресурс (набор данных), таблица и поля.

Открытие графа происхождения

Выполните следующие действия.

Откройте Наблюдения или Аналитика из центра активности.
Нажмите Происхождение в контекстном меню элемента, который поддерживает происхождение.

Открыть граф происхождения некоторых видов контента можно также после того, как будет открыт соответствующий объект. Нажмите Дополнительно и Происхождение.

Сведения об узле

Сведения ограничиваются доступом пользователя к этому объекту. В окне «Сведения» предоставляется следующая информация:

Имя
Описание
Теги
Местоположение
Пространство
Владелец
Разработчик
Дата последнего изменения

Навигация по графу происхождения

Щелкните и перетащите график происхождения, чтобы перемещаться по нему или расположить его по центру. Можно использовать также кнопки навигации. Выберите «Главная» Главная страница , чтобы в центре графика происхождения был базовый узел. Используйте кнопки «Назад» и «Вперед» для перемещения по выбранным местам.

Кнопки навигации по графику происхождения. — Навигация по графику происхождения

Граф происхождения показывает зависимости от источника до аналитического контента, для которого был открыт график. Этот контент показан как узел по умолчанию. Чтобы просмотреть происхождение (по восходящей) или анализ воздействия (по нисходящей) для других узлов, отображаемых на графиках, выберите Дополнительно и Происхождение (новый базовый узел) или Анализ воздействия. Выберите узел, чтобы назначить его базовым.

Разворачивайте Стрелка вниз или сворачивайте стрелка вверх узлы, чтобы развернуть или свернуть группы объектов на одном уровне.

Обобщенный вид происхождения в приложении

Обобщенный вид происхождения, доступный в приложении, позволяет получить бизнес-пользователям общее представление о нижестоящих зависимостях в приложении. Для получения дополнительной информации см. Вид сводки происхождения в приложении.

Анализ происхождения для контента машинного обучения

Граф происхождения может использоваться для анализа источников, поставляющих контент для машинного обучения, таких как эксперименты, развертывания и наборы данных. Используйте этот график, чтобы получить комплексное представление о том, каким образом были получены модели машинного обучения, на каких данных они обучались и для чего используются в сценариях производства.

При анализе другого контента в графе происхождения, например, нижестоящих приложений, эксперименты, развертывания и наборы данных показаны в виде узлов.

Ресурсы машинного обучения также отображаются в анализе воздействия, что позволяет проанализировать нижеследующий контент со всех точек зрения. Для получения дополнительной информации см. раздел Интерпретация анализа воздействия в Аналитика.

Открытие происхождения для контента машинного обучения

Выполните одно из следующих действий:

В центре активности нажмите рядом с экспериментом машинного обучения, развертыванием машинного обучения или набором данных и выберите Происхождение.
В эксперименте или развертывании машинного обучения нажмите на панели с инструментами навигации и выберите Происхождение.

Элементы навигации в графике происхождения для контента машинного обучения

Исследование узлов машинного обучения происходит так же, как и при работе с другим контентом. Обзор интерфейсов см:

График происхождения
Навигация по графу происхождения

Объекты машинного обучения в графе происхождения

В следующей таблице описаны общие объекты, связанные с машинным обучением, которые выводятся в графе происхождения.

Общие объекты машинного обучения, выводимые в графике машинного обучения
Элемент	Значки	Объяснение
Хранилище файлов		Не является уникальным для контента машинного обучения. Показывает местоположение, в котором хранится набор данных (как правило – в пространстве).Актуально для обучающих наборов данных, экспорта в эксперимент данных из встроенных аналитических систем, прикладных наборов данных, используемых для предсказаний, и выходных наборов данных (прогнозов).
Набор данных	Много (например, для QVD)	Не является уникальным для контента машинного обучения. Используется для представления обучающих наборов данных, экспорта в эксперимент данных из встроенных аналитических систем, прикладных наборов данных и выходных наборов данных (прогнозов).
Эксперимент машинного обучения		Эксперимент машинного обучения, в ходе которого обучаются модели.
Версия эксперимента машинного обучения		Версия в эксперименте машинного обучения, в которой выполнялось обучение одной или нескольких моделей.
Модель машинного обучения		Модель, обученная в некоторой версии эксперимента. Используется для представления обученных моделей в эксперименте машинного обучения, а также развернутых моделей в развертывании машинного обучения.
Развертывание машинного обучения		Развертывание машинного обучения, в котором содержится одна или несколько развернутых моделей.
Нет значка	-	Узлы вывода прогнозов в развертывании машинного обучения не имеют значков. Поля, включенные в набор данных для вывода прогнозов, также не имеют значков.

Происхождение и эксперименты машинного обучения

Эксперименты машинного обучения выводятся одним из следующих способов:

В качестве базового узла графа происхождения.
В виде вышестоящих узлов других процессов и выходных точек, таких как прогнозы или приложения для прогнозирования.

Эксперименты машинного обучения представлены в виде групповых структур. Эти структуры раскрываются следующим образом:

Эксперимент машинного обучения раскрывается до одной или нескольких версий эксперимента.
Версия эксперимента раскрывается до одной или нескольких моделей машинного обучения.

Модель, обученная в эксперименте и развернутая в развертывании машинного обучения, выводится в графе происхождения только тогда, когда базовый узел находится в нижеследующем контенте (например, прогнозы или развертывания).

Происхождение и развертывания машинного обучения

Развертывания машинного обучения выводятся одним из следующих способов:

В качестве базового узла графа происхождения.
В виде вышестоящих узлов других процессов, таких как приложения для прогнозирования, скрипты или потоки данных.

Развертывания машинного обучения представлены в виде групповых структур. Эти структуры раскрываются следующим образом:

Развертывание машинного обучения раскрывается в одну или несколько развернутых моделей.
Если модель в развертывании используется для пакетного прогнозирования, в структуре будут содержаться все выходы пакетного прогнозирования.

Происхождение на уровне поля доступно для прикладных наборов данных и наборов данных прогнозирования, которые связаны с развертыванием машинного обучения.

Развернутые модели, используемые для прогнозирования, подключаются обратно к эксперименту, в котором они были обучены.

Происхождение и наборы данных машинного обучения

Наборы данных машинного обучения – это наборы данных, которые используются или создаются экспериментами и развертываниями машинного обучения. К их числу относятся:

Обучающие (тренировочные) наборы данных
Наборы данных, выгруженные из встроенной аналитики в эксперименте машинного обучения (вкладки Сравнение и Анализ )
Набор данных для применения
Наборы данных с прогнозами, включая прогноз, SHAP, SHAP с координатами, ошибки и прикладные наборы данных

Удаленный контент

Если эксперимент, развертывание или набор данных, используемый в процессах машинного обучения, были удалены, они по-прежнему будут отображаться в графе Происхождение при анализе других узлов.

Разрешения

Информацию о разрешениях см. Разрешения.

Пример сценария

Пример сценария см. Пример: исследование происхождения контента машинного обучения.

Ограничения

Диаграмма происхождения имеет следующие ограничения:

Приложения, которые не были перезагружены после выпуска происхождения в Qlik Cloud, могут не содержать всей информации о происхождении до момента их перезагрузки. Сведения о некоторых узлах могут быть ограничены, если они не были загружены после включения происхождения для этого клиента.
Сведения об узле для наборов данных за пределами клиента, такие как подключения к SQL Server или Google Drive, ограничиваются типом набора данных и его именем. Подключения REST только показывают, что это данные REST.

Разрешения

Разрешения для приложений, скриптов, потоков данных и наборов данных

Для доступа к графу происхождения объекта из центра активности необходимы разрешения, позволяющие просматривать приложение, скрипт, поток данных и набор данных. Если удается просмотреть график происхождения для базового узла, то также можно просмотреть базовые сведения и метаданные для вышестоящих объектов происхождения.

Разрешения для экспериментов и развертываний машинного обучения

Разрешения для полного доступа

Пользователи, имеющие следующие роли, могут напрямую открывать граф происхожденияя из эксперимента или развертывания машинного обучения или из центра активности:

Право пользователя «Профессионал» или Full User в клиентеQlik Cloud.
Роль безопасности Automl Experiment Contributor или Automl Deployment Contributor
Для экспериментов и развертываний машинного обучения в общих пространствах одна из следующих ролей в общем пространстве:
- Владелец (пространства)
- Может управлять
- Может изменять
- Может просматривать
Для экспериментов и развертываний машинного обучения в управляемых пространствах одна из следующих ролей в управляемом пространстве:
- Владелец (пространства)
- Может управлять
- Может участвовать
- Может просматривать
- Может эксплуатировать

Этот уровень доступа также позволяет просматривать детали эксперимента или развертывания машинного обучения.

Разрешения для анализа происхождения

Пользователи, имеющие следующие роли, могут просматривать эксперимент или развертывание машинного обучения в графе происхождения, когда базовый узел находится в другом контенте. Эксперимент или развертывание также могут использоваться в анализе в качестве базового узла.

Право пользователя «Профессионал» или Full User в клиентеQlik Cloud.
Для экспериментов и развертываний машинного обучения в общих пространствах одна из следующих ролей в общем пространстве:
- Владелец (пространства)
- Может управлять
- Может изменять
- Может просматривать
Для экспериментов и развертываний машинного обучения в управляемых пространствах одна из следующих ролей в управляемом пространстве:
- Владелец (пространства)
- Может управлять
- Может участвовать
- Может просматривать
- Может эксплуатировать

Этот уровень доступа имеет ограничения по сравнению с уровнем «полный доступ». Кроме того, роли безопасности Automl Experiment Contributor или Automl Deployment Contributor также дают полный доступ и позволяют выполнять другие действия, например, открывать объекты непосредственно в графе происхождения и просматривать детали.

Безопасность

Пользователь может изменить только базовый узел, к которому у него есть доступ. В противном случае это контекстное меню недоступно.
Если у пользователя есть доступ к базовому узлу, он сможет просматривать все происхождение по восходящей.

Практический пример анализа происхождения

Подробное описание анализа происхождения см. в разделе Граф происхождения на уровне поля. Примеры использования.

Пример: исследование источников информации с помощью вида сводки происхождения

Рассматривая линейчатую диаграмму в приложении cars-data4-app, вы как потребитель аналитики хотели бы знать, откуда взяты эти данные. Убедитесь, что для диаграммы включены параметры Показать сведения и Показать выражения (Вид > Общее в свойствах), затем переключитесь в режим анализа листа. Щелкните правой кнопкой мыши на диаграмме или откройте меню значок «Дополнительные действия» и выберите Показать детали, чтобы показать потребителей в графе происхождения. Нажмите Показать зависимости.

Как можно увидеть, измерение Car_ID зависит от поля Car_ID, которое присутствует в трех указанных источниках QVD. Откройте в поле меню значок «Дополнительные действия» и выберите Происхождение - Car_ID / Cars, чтобы открыть граф происхождения для поля Car_ID в приложении.

Откройте меню, затем выберите просмотр происхождения для источника в потребительском виде сводки происхождения — Выберите источник или поле для просмотра происхождения для этого объекта

Просматривая граф происхождения справа налево, можно увидеть, что поле Car_ID находится в таблице Cars, которая была загружена в приложение cars-data4-app. Разворачивайте узлы Стрелка вниз , прослеживая историю поля до первоначального файла, загруженного в Qlik Cloud. Как мы видим, первый шаг назад показывает, что файл QVD cars-data.csv, содержащий поле Car_ID, был загружен в приложение cars-data4-app. Предшествующий узел – это приложение cars-data3-app, в котором был создан файл cars-data.csv. Сделав еще один шаг назад и развернув узел, мы видим, что первоначальным исходным файлом является файл CSV cars-data3.csv, содержащий поле ID.

Разворачивая таблицы и просматривая поля, мы можем идентифицировать первоначальный исходный файл, таблицу и поле для измерения линейчатой диаграммы Car_id-ID.

Начните с узла в фокусе и проследите историю происхождения до первоначального источника — Разворачивайте узлы для прослеживания истории поля вплоть до исходного файла

Пример: исследование источников базы данных и процессов их создания

Как разработчик приложения, вы планируете использовать существующий набор данных current_customers_analytics.xlsx для своего приложения. Вы исследуете первоначальные источники этого набора данных, чтобы понять, откуда взяты сведения. На плитке набора данных или в строке выберите Происхождение в меню Дополнительно , чтобы открыть график происхождения. Чтобы просмотреть метаданные набора данных из графа происхождения, откройте меню значок «Дополнительные действия» в файле XLSX current_customers_analytics.xlsx и откройте обзор.

Обзор набора данных можно открыть через график происхождения — Откройте обзор набора данных через график происхождения

Обзоры наборов данных можно открывать через график происхождения — Просматривайте теги, классификации и другие технические метаданные через вкладку обзора набора данных

Вкладку «Поля» для доступа к профилю можно открыть через график происхождения — Профиль данных можно открыть из вкладки Профиль

Щелкните стрелку «Назад» браузера, чтобы вернуться к графику происхождения набора данных для изучения. Раскройте Стрелка вниз на узле current_customers_analytics.xlsx и нажмите Выбрать все, чтобы просмотреть доступные поля. Сделайте то же самое для всех узлов. Следует учитывать, что любое поле можно сделать узлом в фокусе, выбрав Происхождение (новый базовый узел); можно также выбрать Анализ воздействия , чтобы проследить происхождение и зависимые объекты, на которые могут оказать влияние изменения в наборе данных.

Просмотр происхождения для набора данных — Раскрытый граф происхождения для набора данных. В каждом поле в каждом узле можно открыть приложение или данные, просмотреть анализ воздействия или изменить узел в фокусе

Прослеживая происхождение в обратном направлении и разворачивая узлы, мы видим, что этот набор данных XLSX является выходным из приложения Prep Current Customers Sales - Analytics. Перейдя на один шаг назад и развернув узел Хранилище файлов, можно увидеть, что в приложение Sales Analysis был загружен файл CSV: rgb_customers.csv. Анализ на уровне поля показывает, что поле Tags в первоначальном исходном файле было переименовано в rgb_customers.Tags в приложении Sales Analysis. Первоначальный файл CSV можно открыть в области обзора, чтобы просмотреть ценные метаданные, такие как владелец, создатель, метрики использования, теги, классификации, профиль поля и анализ воздействия.

Пример: исследование происхождения контента машинного обучения

Случайный бизнес-пользователь или эксперт в области машинного обучения может использовать граф происхождения, чтобы проверить происхождение определенных предсказанных значений. Если базовый узел находится в наборе данных прогнозирования, этот пользователь может видеть:

Обучающие данные, включая источники данных и преобразования
Эксперимент, версия эксперимента и модель
Где была развернута модель и как она использовалась

Граф происхождения, показывающий весь поток данных – от подготовки обучающих данных до набора данных с прогнозами. — Граф происхождения с раскрытыми узлами. На графе показан весь поток данных, от подготовки обучающих данных до набора данных с прогнозами.

На изображении выше показан следующий процесс:

Поток данных загружает и преобразует данные из набора данных CSV , хранящегося в личном пространстве . Выходные данные сохраняются в наборе данных Parquet в том же пространстве.
Набор данных Parquet используется в версии 1 эксперимента машинного обучения . Эта версия эксперимента обучает модель .
Модель развернута в развертывании .
Используя набор данных CSV в личном пространстве в качестве прикладного набора данных, развертывание генерирует набор данных с прогнозами в формате Parquet .

Происхождение в Интеграция данных

Граф происхождения также доступен в Интеграция данных. Для получения дополнительной информации см. раздел Анализ происхождения в Интеграция данных.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице или с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом!

Оставьте свой отзыв здесь