Analizowanie pochodzenia w Analytics

Pochodzenie śledzi dane i przekształcenia danych wstecz do pierwotnego źródła. Qlik Cloud oferuje szczegółową wizualną reprezentację historii tego przepływu, w której można interaktywnie badać pochodzenie treści analitycznej. Pochodzenie jest dostępne dla treści takich jak aplikacje, skrypty, przepływy danych, eksperymenty uczenia maszynowego, wdrożenia uczenia maszynowego i zestawy danych.

Podczas korzystania z aplikacji analitycznej można uzyskać dostęp do widoku podsumowania pochodzenia, będącego reprezentacją miar i wymiarów użytych w danym obiekcie wykresu. Dzięki temu widokowi można zidentyfikować źródło, co daje pewność, że można zrozumieć i zaufać temu, co się widzi i z czym się pracuje. Więcej informacji zawiera temat Widok podsumowania pochodzenia w aplikacji.

Użytkownicy biznesowi badający dane pole mają widok pochodzenia pola, który podsumowuje jego najważniejsze zależności:

• Pola używane do jego wyprowadzenia
• Bezpośrednie asocjacje i zależności, w tym właściciel i przestrzeń
• Pierwotne (pierwsze znane) źródło

Aby wyświetlić późniejsze lub wybiegające w przyszłość zależności, można zbadać, na które elementy wpłynęłaby zmiana obiektu, wyświetlając analizę wpływu. Zobacz temat Analiza wpływu w Analytics.

Aby wizualnie zobaczyć, jak działa pochodzenie, patrz:

Używanie pochodzenia

Wykres pochodzenia danych

Wykres Pochodzenie przedstawia przepływ danych przez treści analityczne na interaktywnym, graficznym diagramie. Zasób, tabela lub pole są nazywane węzłami na wykresie pochodzenia. Gdy węzeł jest badanym węzłem podstawowym, mówi się, że jest uaktywniony, i jest wyświetlany jako ostatni element na wykresie. Na najbardziej szczegółowym poziomie wykresy pochodzenia na poziomie pola pokazują źródła danych i przekształcenia, z których pochodzi węzeł lub od których jest zależny.

Wykresy pochodzenia są przydatne dla następujących osób:

• Eksperci od danych pracujący z danymi

• Specjaliści biznesowi tworzący aplikacje

• Zaawansowani użytkownicy biznesowi korzystający z aplikacji

• Użytkownicy pracujący z modelami uczenia maszynowego

Każdy węzeł reprezentuje etap w pochodzeniu wybranej zawartości. Te informacje o pochodzeniu są kompilowane za każdym razem, gdy zasób analityczny odświeża swoje dane. Jeśli aplikacja, skrypt lub przepływ danych nie zostały ostatnio odświeżone, informacje o pochodzeniu danych mogą być niepełne lub niedokładne.

Pochodzenie jest dostępne dla obsługiwanych typów zawartości z kafelka lub wiersza, tak jak pojawiają się one w katalogu. Pochodzenie można analizować pod kątem następujących treści analitycznych:

• Zestaw danych: zestawy danych to źródła danych ładowane z łączników lub plików danych. Zestawami danych mogą być tabele w bazie danych, dane przesyłane do pamięci masowej danych lub dane generowane z aplikacji, na przykład plik qvd. Zestawy danych zwykle zawierają jedną tabelę, ale niektóre, takie jak pliki programu Excel, mogą mieć wiele tabel.

  Zestawy danych opublikowane z Talend Studio są oznaczone jako . Możesz przejść do zadania Talend Management Console, które zostało użyte do wygenerowania zestawu danych, klikając Otwórz zadanie TMC w menu zestawu danych ... Więcej informacji zawiera temat Publikowanie zestawów danych i pochodzenia w Qlik Cloud.

• Aplikacja: węzły aplikacji reprezentują aplikacje analityczne Qlik Sense, które korzystają z zestawów danych składających się na pochodzenie danych. Węzły aplikacji wyświetlają nazwę i lokalizację aplikacji jako Qlik Sense.

• Skrypt: węzły Skrypt reprezentują skrypty utworzone w interfejsie Skrypt.

• Przepływ danych: przepływy danych mogą być kontrolowane w celu lepszego zrozumienia źródeł danych, z których korzystają i które transformują.

• Eksperyment uczenia maszynowego: można zrozumieć pochodzenie eksperymentu uczenia maszynowego składającego się ze źródeł danych, które zostały połączone w celu uzyskania danych do uczenia dla modeli uczenia maszynowego.

• Wdrożenie uczenia maszynowego: można zrozumieć pochodzenie wdrożenia uczenia maszynowego i sposób jego wykorzystania w predykcjach. Pochodzenie wdrożeń uczenia maszynowego zazwyczaj składa się z eksperymentów uczenia maszynowego, wersji eksperymentów, modeli i zbiorów danych.

Typowe węzły wejściowe obejmują źródła danych używane przez węzeł podstawowy lub aplikacje, które tworzą zestawy danych. Pochodzenie na poziomie pola umożliwia szczegółowe badanie sposobu obliczania pól i ich specyficznego pochodzenia we wszystkich transformacjach i aplikacjach.

Węzły dostępne na wykresie pochodzenia są danymi wejściowymi dla wybranej zawartości. Wybierz element, aby go wyznaczyć na węzeł podstawowy. Węzły wejściowe to węzły przed węzłem podstawowym.

Węzły dostępne na wykresie pochodzenia są danymi wejściowymi dla wybranego węzła podstawowego, czyli uaktywnionego węzła. Węzeł podstawowy jest pojedynczym węzłem, dla którego chcesz pobrać informacje o pochodzeniu. Może to być na przykład aplikacja, przepływ danych, eksperyment uczenia maszynowego, zestaw danych, plik, tabela lub pole.

Jest to węzeł znajdujący się najbardziej po prawej stronie ekranu i wyróżniony na niebiesko. Jest to główny przedmiot Twojego badania i zostaną zaprezentowane tylko dane wejściowe dla tego węzła podstawowego.

Podczas eksplorowania pochodzenia można też interaktywnie zmienić węzeł podstawowy na inną tabelę, aplikację, pole lub inny element na ekranie, aby skoncentrować swoje badanie.

Linie łączące węzły to krawędzie. Krawędzie reprezentują relację węzła z innym węzłem. Reprezentują one relacje wskazujące asocjacje, takie jak zestaw danych używany przez aplikację. Mogą również reprezentować dane tworzone jako produkt uboczny aplikacji. Zbiór węzłów i krawędzi tworzy razem wykres pochodzenia.

Węzły zwijają się lub rozwijają, aby odsłonić poziomy hierarchii od ogólnych do bardziej szczegółowych, począwszy od grupy zestawów danych wyższego poziomu lub aplikacji aż do poziomu najbardziej szczegółowego, czyli poziomu pola.

Szczegóły węzła

Szczegóły są ograniczone przez Twój dostęp do danego obiektu. Szczegóły mogą dostarczyć następujących informacji:

• Nazwa

• Opis

• Znaczniki

• Lokalizacja

• Przestrzeń

• Właściciela

• Twórca

• Ostatnia modyfikacja

Nawigacja po wykresie pochodzenia danych

Po wykresie pochodzenia danych można się poruszać i wyśrodkowywać go, klikając i przeciągając wykres. Można też używać przycisków nawigacyjnych. Wybierz , aby wyśrodkować wykres pochodzenia danych na węźle podstawowym. Kliknij przyciski Wstecz i Do przodu, aby poruszać się po wybranych elementach.

Wykres pochodzenia pokazuje zależności nadrzędne dla treści analitycznej, która jest prezentowana jako domyślny węzeł po otwarciu wykresu dla niej. Możesz uzyskać dostęp do pochodzenia (elementów nadrzędnych) albo analizy wpływu (na elementy podrzędne) dla innych węzłów, które widnieją na wykresie, wybierając i Pochodzenie (nowy węzeł podstawowy) lub Analiza wpływu. Wybierz węzeł, aby wyznaczyć go na węzeł podstawowy.

Rozwiń lub zwiń węzły, aby rozwinąć lub zwinąć grupy obiektów na tym samym poziomie.

Widok podsumowania pochodzenia w aplikacji

Widok podsumowania pochodzenia w aplikacji może zapewnić użytkownikom biznesowym ogólny przegląd zależności nadrzędnych w aplikacji. Więcej informacji zawiera temat Widok podsumowania pochodzenia w aplikacji.

Analizowanie pochodzenia treści uczenia maszynowego

Za pomocą wykresu Pochodzenie można analizować pochodzenie treści uczenia maszynowego, w tym eksperymentów uczenia maszynowego, wdrożeń uczenia maszynowego i zestawów danych. Użyj wykresu, aby uzyskać całościowy obraz tego, jak modele uczenia maszynowego zostały utworzone, na jakich danych zostały przeszkolone i do czego są wykorzystywane w scenariuszach produkcyjnych.

Eksperymenty, wdrożenia i zestawy danych pojawiają się również jako węzły podczas analizowania innych treści w grafie Pochodzenie, takich jak aplikacje podrzędne.

Zasoby uczenia maszynowego są również wyświetlane w Analizie wpływu w celu kompleksowej analizy zawartości podrzędnej. Więcej informacji zawiera temat Analiza wpływu w Analytics.

Otwieranie Pochodzenia na potrzeby treści uczenia maszynowego

Wykonaj jedną z poniższych czynności:

• W centrum aktywności kliknij obok eksperymentu uczenia maszynowego, wdrożenia uczenia maszynowego lub zestawu danych i wybierz opcję Pochodzenie.

• W eksperymencie lub wdrożeniu uczenia maszynowego kliknij na pasku nawigacyjnym i wybierz Pochodzenie.

Nawigacja po Pochodzeniu na potrzeby treści uczenia maszynowego

Węzły uczenia maszynowego można eksplorować w taki sam sposób, jak w przypadku innych treści. Przeglądy interfejsów można znaleźć w temacie:

• Wykres pochodzenia danych

• Nawigacja po wykresie pochodzenia danych

Rozpoznawanie elementów uczenia maszynowego na grafie Pochodzenie

W poniższej tabeli przedstawiono typowe elementy związane z uczeniem maszynowym, które pojawiają się na wykresie Pochodzenie.

Elementy o wspólnym pochodzeniu do uczenia maszynowego

Element	Ikony	Objaśnienie
Pamięć masowa plików		Ten element nie jest unikatowy dla treści uczenia maszynowego. Pokazuje lokalizację, w której przechowywany jest zestaw danych (w większości przypadków w przestrzeni). Odpowiednio do zestawów danych szkoleniowych, eksporty z wbudowanej analityki w eksperymencie, zestawy danych używanych do predykcji i wyjściowe zestawy danych predykcyjnych.
Zestaw danych	Wiele (na przykład dla QVD)	Ten element nie jest unikatowy dla treści uczenia maszynowego. Reprezentujące zestawy danych do uczenia eksporty z wbudowanej analityki w eksperymencie, zestawy danych do zastosowania i wyjściowe zestawy danych predykcyjnych.
Eksperyment uczenia maszynowego		Eksperyment ML, w którym uczone są modele.
Wersja eksperymentu uczenia maszynowego		Wersja eksperymentu uczenia maszynowego, w której wytrenowano jeden lub więcej modeli.
Model uczenia maszynowego		Model uczenia maszynowego nauczony w ramach wersji eksperymentalnej. Służy do reprezentowania nauczonych modeli w eksperymencie uczenia maszynowego i wdrożonych modeli we wdrożeniu uczenia maszynowego.
Wdrożenie uczenia maszynowego		Wdrożenie uczenia maszynowego, które zawiera jeden lub więcej wdrożonych modeli.
Brak ikony	-	Węzły wyjściowe predykcji w ramach wdrożenia uczenia maszynowego nie mają ikon. Pola zawarte w zestawie danych wyjściowych predykcji również nie mają ikon.

Pochodzenie i eksperymenty uczenia maszynowego

Eksperymenty uczenia maszynowego mogą występować następująco:

• Jako węzeł bazowy grafu pochodzenia.

• Jako węzły poprzedzające inne procesy i wyjścia, takie jak predykcje lub aplikacje predykcyjne.

Eksperymenty uczenia maszynowego są prezentowane w pogrupowanych układach. Rozwijają się one następująco:

• Eksperyment uczenia maszynowego rozwija się, pokazując jedną lub więcej wersji eksperymentu.

• Wersja eksperymentu rozwija się, pokazując jeden lub więcej modeli uczenia maszynowego.

Gdy model nauczony w eksperymencie zostanie wdrożony do wdrożenia uczenia maszynowego, pojawia się on na wykresie pochodzenia, gdy jako węzeł podstawowy zostanie wybrana zawartość podrzędna (na przykład predykcje lub wdrożenia uczenia maszynowego).

Pochodzenie i wdrożenia uczenia maszynowego

Wdrożenia uczenia maszynowego mogą występować następująco:

• Jako węzeł bazowy grafu pochodzenia.

• Jako węzły poprzedzające inne procesy, takie jak aplikacje predykcyjne, skrypty lub przepływy danych.

Wdrożenia uczenia maszynowego są prezentowane w pogrupowanych układach. Rozwijają się one następująco:

• Wdrożenie uczenia maszynowego rozwija się, pokazując jeden lub więcej wdrożonych modeli.

• Jeśli model we wdrożeniu został użyty w predykcjach wsadowych, model rozwija się, aby pokazać wyniki każdej predykcji wsadowej.

Pochodzenie na poziomie pola jest dostępne dla zestawów danych do zastosowania i zestawów danych wyjściowych predykcji, które odnoszą się do wdrożenia uczenia maszynowego.

Wdrożone modele używane do predykcji są połączone z eksperymentem, w którym zostały nauczone.

Pochodzenie i zbiory danych uczenia maszynowego

Zestawy danych uczenia maszynowego to zestawy danych, które są wykorzystywane lub tworzone przez eksperymenty uczenia maszynowego i wdrożenia uczenia maszynowego. Obejmują one:

• Zestawy danych do uczenia

• Zestawy danych eksportowane z wbudowanej analityki w eksperymencie uczenia maszynowego (karty Porównaj i Analizuj)

• Zestawy danych do zastosowania

• Zestawy danych wyjściowych predykcji, w tym predykcja, SHAP, SHAP w formacie układu współrzędnych, błędy i zestawy danych do zastosowania

Usunięta zawartość

Jeśli eksperyment uczenia maszynowego, wdrożenie uczenia maszynowego lub zestaw danych używany w procesach uczenia maszynowego zostanie usunięty, będzie on nadal wyświetlany w widoku podsumowania Pochodzenia podczas analizowania innych węzłów.

Uprawnienia

Więcej informacji na temat uprawnień zawiera artykuł Uprawnienia.

Przykładowe zastosowanie

Przykładowe zastosowanie można znaleźć na stronie Przykład: badanie pochodzenia treści uczenia maszynowego.

Ograniczenia

Wykres pochodzenia danych ma następujące ograniczenia:

• Aplikacje, które nie zostały załadowane po uaktywnieniu pochodzenia w Qlik Cloud, mogą nie mieć pełnych informacji o pochodzeniu danych, dopóki nie zostaną ponownie załadowane. Szczegóły niektórych węzłów mogą być ograniczone, jeśli nie zostały one załadowane po włączeniu pochodzenia w dzierżawie.

• Szczegóły węzła zestawów danych spoza dzierżawy, takich jak połączenia z serwerem SQL Server lub Dyskiem Google, są ograniczone do typu zestawu danych i nazwy. W przypadku połączeń REST wyświetlana jest tylko informacja, że są to dane REST.

Uprawnienia

Uprawnienia dotyczące aplikacji, skryptów, przepływów danych i zestawów danych

Aby wyświetlić pochodzenie elementu z centrów aktywności, musisz móc wyświetlać aplikację, skrypt, przepływ danych lub zestaw danych. Jeśli widzisz wykres pochodzenia dla węzła podstawowego, możesz zobaczyć podstawowe szczegóły i metadane dotyczące wcześniejszych obiektów pochodzenia.

Uprawnienia do eksperymentów uczenia maszynowego i wdrożeń uczenia maszynowego

Uprawnienia do pełnego dostępu

Jeśli masz następujące elementy, możesz otworzyć Pochodzenie bezpośrednio z eksperymentu uczenia maszynowego lub wdrożenia uczenia maszynowego albo z centrum aktywności:

• Uprawnienie profesjonalne lub Full User

• Rola bezpieczeństwa Automl Experiment Contributor lub Automl Deployment Contributor

• W przypadku eksperymentów uczenia maszynowego lub wdrożeń uczenia maszynowego w przestrzeniach udostępnionych jedna z poniższych ról w przestrzeni udostępnionej:

  • Właściciel (przestrzeni)

  • Może zarządzać

  • Może edytować

  • Może wyświetlać

• W przypadku eksperymentów uczenia maszynowego lub wdrożeń uczenia maszynowego w przestrzeniach zarządzanych jedna z poniższych ról w przestrzeni zarządzanej:

  • Właściciel (przestrzeni)

  • Może zarządzać

  • Może współtworzyć

  • Może wyświetlać

  • Może operować

Na tym poziomie dostępu masz również uprawnienia do wyświetlania szczegółów eksperymentu uczenia maszynowego lub wdrożenia uczenia maszynowego.

Uprawnienia do analizowania pochodzenia

Jeżeli masz następujące elementy, możesz zobaczyć eksperyment uczenia maszynowego lub wdrożenie uczenia maszynowego na wykresie Pochodzenie, gdy inna zawartość jest ustawiona jako węzeł podstawowy. Można również ustawić eksperyment lub wdrożenie jako węzeł podstawowy do analizy.

• Uprawnienie profesjonalne lub Full User

• W przypadku eksperymentów uczenia maszynowego lub wdrożeń uczenia maszynowego w przestrzeniach udostępnionych jedna z poniższych ról w przestrzeni udostępnionej:

  • Właściciel (przestrzeni)

  • Może zarządzać

  • Może edytować

  • Może wyświetlać

• W przypadku eksperymentów uczenia maszynowego lub wdrożeń uczenia maszynowego w przestrzeniach zarządzanych jedna z poniższych ról w przestrzeni zarządzanej:

  • Właściciel (przestrzeni)

  • Może zarządzać

  • Może współtworzyć

  • Może wyświetlać

  • Może operować

Ten poziom dostępu jest bardziej ograniczony niż poziom pełnego dostępu. Jeśli masz również rolę bezpieczeństwa Automl Experiment Contributor lub Automl Deployment Contributor, będziesz mieć pełny dostęp i możesz wykonywać inne czynności, takie jak bezpośrednie otwieranie ich na wykresie Pochodzenie i przeglądanie szczegółów.

Zabezpieczenia

• Użytkownik może przejść tylko do węzła podstawowego, do którego ma dostęp. W przeciwnym razie menu kontekstowe nie jest dostępne.

• Jeśli użytkownik ma dostęp do węzła podstawowego, będzie miał dostęp do całego wcześniejszego pochodzenia.

Przykładowe zastosowania analizy pochodzenia

Przewodnik analizy pochodzenia można znaleźć w temacie Przypadki stosowania pochodzenia na poziomie pola.

Przykład: odkrywanie, skąd pochodzą informacje, dzięki widokowi podsumowania pochodzenia

Jako użytkownik analityki, patrzący na wykres słupkowy w aplikacji cars-data4-app, chcesz wiedzieć, skąd pochodzą informacje. Upewniasz się, czy opcje Pokaż szczegóły i Pokaż wyrażenia są włączone dla wykresu w sekcji Wygląd > Ogólne we Właściwościach, a następnie wybierasz tryb analizy arkusza. Kliknij wykres prawym przyciskiem myszy lub użyj menu i wybierz opcję Pokaż szczegóły, aby wyświetlić widok konsumenta pochodzenia. Kliknij Pokaż zależności.

Widzisz, że wymiar Car_ID jest zależny od pola Car_ID, które znajduje się w trzech wymienionych źródłach CSV. Wybierz menu pozycji pola i wybierz Pochodzenie - Car_ID / Cars, aby otworzyć wykres pochodzenia dla pola Car_ID w aplikacji.

Wykres pochodzenia jest wyświetlany od prawej do lewej i pokazuje, że pole Car_ID znajduje się w tabeli Cars, która została załadowana do aplikacji cars-data4-app. Rozwiń węzły , śledząc historię pola aż do pierwotnego pliku, który został przesłany do Qlik Cloud. Pierwszy krok wstecz pokazuje, że plik CSV cars-data.csv zawierający pole Car_ID został załadowany do aplikacji cars-data4-app. Poprzednim węzłem jest aplikacja cars-data3-app, z której został wygenerowany plik cars-data.csv. Cofając się jeszcze o jeden krok i rozwijając węzeł, widzisz, że oryginalny plik źródłowy był plikiem CSV cars-data3.csv i zawierał pole ID.

Rozwijając tabele i wyświetlając pola, możesz zidentyfikować oryginalny plik źródłowy, tabelę i pole wymiaru wykresu słupkowego Car_id-ID.

Przykład: badanie pochodzenia zestawu danych i sposobu jego utworzenia

Jako twórca aplikacji rozważasz użycie istniejącego zestawu danych current_customers_analytics.xlsx w swojej aplikacji. Badasz pochodzenie tego zestawu danych, aby zorientować się, skąd pochodzą dane. Na kafelku zestawu danych lub w wierszu wybierz opcję Pochodzenie z menu , aby otworzyć wykres pochodzenia. Z wykresu pochodzenia możesz wyświetlić metadane zestawu danych, wybierając menu na pliku XLSX current_customers_analytics.xlsx i Otwórz, aby otworzyć przegląd.

Kliknij strzałkę wstecz w przeglądarce, aby powrócić do wykresu pochodzenia i przejrzeć wykres pochodzenia zestawu danych. Rozwiń węzeł current_customers_analytics.xlsx i kliknij Wybierz wszystko, aby wyświetlić dostępne pola. Zrób to samo dla wszystkich węzłów. Zauważ, że każde pole można ustawić jako węzeł podstawowy, wybierając Pochodzenie (nowy węzeł podstawowy) lub wybierając Analiza wpływu, aby wyświetlić pochodzenie i obiekty zależne, na które będą miały wpływ zmiany w zestawie danych.

Cofając się i rozwijając węzły, można zobaczyć, że ten zestaw danych XLSX stanowi dane wyjściowe aplikacji Prep Current Customers Sales - Analytics. Cofając się o kolejny krok i rozwijając węzeł Pamięć masowa plików, można zobaczyć, że aplikacja do analizy sprzedaży miała załadowany plik CSV: rgb_customers.csv. Analiza na poziomie pola wykazuje, że nazwa pola Tags w oryginalnym pliku źródłowym została zmieniona na rgb_customers.Tags w aplikacji do analizy sprzedaży. Oryginalny plik CSV można otworzyć w celu wyświetlenia cennych metadanych, takich jak właściciel, twórca, wskaźniki użytkowania, znaczniki, klasyfikacje, profil pola i analiza wpływu.

Przykład: badanie pochodzenia treści uczenia maszynowego

Zarówno zwykły użytkownik biznesowy, jak i ekspert w dziedzinie uczenia maszynowego może użyć wykresu Pochodzenie, aby sprawdzić pochodzenie niektórych przewidywanych wartości. Gdy węzeł podstawowy jest ustawiony na zestaw danych predykcyjnych, możesz zobaczyć następujące informacje:

• Dane do uczenia, w tym ich źródła i transformacje

• Eksperyment, wersja eksperymentu i model

• Gdzie model został wdrożony i jak został wykorzystany

Powyższa ilustracja przedstawia następujący proces:

1. Przepływ danych ładuje i przekształca dane ze zbioru danych CSV przechowywanego w przestrzeni prywatnej . Dane wyjściowe są zapisywane w zbiorze danych Parquet w tej samej przestrzeni.

2. Zbiór danych Parquet jest wykorzystywany w wersji 1 eksperymentu uczenia maszynowego . Ta wersja eksperymentu uczy model uczenia maszynowego .

3. Model ML jest wdrożony w środowisku uczenia maszynowego .

4. Używając zestawu danych CSV w przestrzeni prywatnej jako zestawu danych do zastosowania, wdrożenie uczenia maszynowego generuje zbiór danych predykcyjnych w formacie Parquet .