Przeskocz do zawartości głównej Przejdź do treści uzupełniającej

Tworzenie przepływu danych

Podsumowanie wideo

video thumbnail

Tworzenie przepływu danych

Zacznij od utworzenia nowego przepływu danych.

  1. Z menu Launcher wybierz kolejno Analytics> Utwórz lub Analytics > Przygotowanie danych.

  2. Kliknij Przepływ danych.

    Zostanie otwarte okno dialogowe Tworzenie nowego przepływu danych.

  3. W odpowiednim polu wprowadź Nazwę przepływu danych.

  4. Z listy rozwijanej wybierz Przestrzeń, w której chcesz zapisać przepływ danych.

  5. Dodaj Opis, aby udokumentować cel przepływu danych.

  6. Dodaj do przepływu danych Znaczniki, aby można go było łatwiej znaleźć.

  7. Opcjonalnie zaznacz pole wyboru Otwórz przepływ danych, aby bezpośrednio wyświetlić przepływ danych po jego utworzeniu.

  8. Kliknij polecenie Utwórz.

Pusty przepływ danych zostanie otwarty i przejdziesz do karty Przegląd w nagłówku nawigacji. Nowy przepływ danych można również znaleźć później na stronie Analytics > Strona główna w Qlik Cloud.

Więcej na temat informacji, które można znaleźć w przeglądzie przepływu danych, zawiera temat Nawigacja po przepływach danych.

Aby rozpocząć projektowanie przepływu danych, przejdź do karty Edytor w nagłówku nawigacji.

Wybieranie źródła

Pierwszym elementem składowym przepływu danych jest źródło zawierające dane, które chcesz przygotować. Można użyć dowolnych danych z katalogu lub z połączenia.

Dodawanie danych z zestawu danych

Zestawy danych przechowywane w katalogu mogą być oparte na plikach (.qvd, .xls, .csv, .parquet, .json itp.) lub tabelach z baz danych i hurtowni danych.

Lista obsługiwanych formatów znajduje się w sekcji Formaty plików.

Aby wybrać zestaw danych jako źródło przepływu danych:

  1. Z karty Źródła w lewym panelu przeciągnij źródło Zestawy danych i upuść je na kanwie.

    Zostanie otwarte okno Katalog danych, w którym można wyszukać wcześniej przesłane zestawy danych lub kliknąć przycisk Prześlij plik danych, aby wyszukać pliki na komputerze i przesłać je na bieżąco.

    OstrzeżenieW przypadku przesyłania dużych plików o rozmiarze przekraczającym 300 MB proces ten może zająć trochę czasu. Nie zamykaj okna — postęp jest wyświetlany na okrągłym wskaźniku przetwarzania, który na początku może wyglądać na pusty.
  2. Korzystając z wyszukiwania i filtrów, zaznacz pole wyboru przed jednym lub kilkoma zestawami danych z listy i kliknij przycisk Dalej.

  3. Na karcie Podsumowanie można przejrzeć wybrane zestawy danych, sprawdzić zawarte w nich pola i wykluczyć niektóre z nich. Kliknij Załaduj do przepływu danych.

    Źródła są dodawane do kanwy z ostrzeżeniem o konieczności połączenia ich z innymi węzłami.

    Źródło właśnie dodane do kanwy

Po umieszczeniu źródła na kanwie można je kliknąć i uzyskać dostęp do panelu Właściwości, aby w razie potrzeby edytować wybrane pola, jeśli na przykład schemat źródła został zaktualizowany.

Przesyłanie i konfigurowanie pliku csv

Jeśli jako źródło danych używany jest zestaw danych w formacie csv, wcześniej przesłany do katalogu lub przesłany bezpośrednio w trakcie procesu, a dane nie są wyświetlane prawidłowo w podglądzie, może to oznaczać, że plik nie jest prawidłowo sformatowany.

Na przykład te dane klienta, które używają przecinka jako separatora, są wyświetlane w jednej kolumnie.

Dane rozdzielone przecinkami, które są nieprawidłowo wyświetlane w pojedynczej kolumnie

Plik został źle sformatowany lub separator nie został poprawnie wykryty podczas przesyłania. Aby rozwiązać ten problem, należy przejść do ustawień zestawu danych.

  1. Z menu Launcher wybierz Analytics > Katalog.

  2. Otwórz zestaw danych do naprawy.

    W przeglądzie zestawu danych można zobaczyć ostrzeżenie o potencjalnym błędzie formatowania.

  3. Kliknij łącze do Ustawień formatu pliku z komunikatu ostrzegawczego lub użyj menu Więcej działań w prawym górnym rogu przeglądu.

    Widać, że separator został błędnie ustawiony jako Średnik.

    Ogranicznik pliku csv ustawiony jako średnik

  4. Z listy rozwijanej Ogranicznik wybierz Przecinek.

    Podgląd z oczekiwanym separatorem poprawnie pokazuje teraz różne pola.

    Menu ustawień formatu pliku dla pliku csv

  5. Kliknij przycisk Zapisz.

  6. Po powrocie do przepływu danych usuń nieaktualne źródło danych, jeśli kanwa nie była pusta, i dodaj je ponownie. Tym razem źródło będzie odzwierciedlać właściwą konfigurację zestawu danych.

Dodawanie danych z połączenia

Qlik Cloud i przepływy danych obsługują różne połączenia ze źródłami danych. Więcej informacji można znaleźć na Liście obsługiwanych źródeł danych.

Jedynymi obecnie nieobsługiwanymi typami połączeń są:

InformacjaAI21 Labs (Amazon Bedrock), Advanced Analytics, Amazon Comprehend, Amazon SageMaker, Amazon Titan (Amazon Bedrock), Anthropic (Amazon Bedrock), Azure ML, Azure OpenAI, Cohere (Amazon Bedrock, DataRobot, Databricks MLflow, Google Ads, Google Calendar, Hugging Face, Meta (Amazon Bedrock), MeaningCloud, OData, OpenAI, Qlik AutoML, Qlik Big Data Index (QBDI), Qlik GeoOperations, Qlik GeoOperations GeoJSON, Qlik GeoOperations Shapefile, Sentiment140, SMTP, Watson Natural Language Understanding, YouTube Analytics.

Aby wybrać połączenie jako źródło przepływu danych:

  1. Z karty Źródła w lewym panelu przeciągnij źródło Połączenia i upuść je na kanwie.

    Otworzy się okno Wybierz połączenie, w którym można przeglądać wcześniej utworzone połączenia lub kliknąć Utwórz połączenie, aby zdefiniować nowe połączenie po uwierzytelnieniu.

  2. Korzystając z wyszukiwania i filtrów, zaznacz pole wyboru połączenia z listy i kliknij przycisk Dalej.

  3. W zależności od połączenia będziesz można przeglądać pliki, wprowadzić ścieżkę do danych lub wybierać tabele z bazy danych.

  4. Po wybraniu danych źródłowych kliknij przycisk Zapisz lub Zakończ.

    Źródło zostanie dodane do kanwy z ostrzeżeniem o konieczności połączenia go z innym węzłem.

    Źródło typu połączenie właśnie dodane do kanwy

Po umieszczeniu źródła na kanwie można je kliknąć i uzyskać dostęp do panelu Właściwości, aby w razie potrzeby edytować wybrane pola, jeśli na przykład schemat źródła został zaktualizowany.

Dodawanie procesorów

Procesory są jak klocki do układania, które zawierają różne funkcje przygotowania dostępne w przepływie danych. Odbierają one przychodzące dane i zwracają przygotowane dane do następnego kroku przepływu. Procesory umożliwiają wykonywanie złożonych operacji wyodrębniania, ulepszania i czyszczenia różnorodnych danych z podglądem na żywo. Więcej informacji na temat dostępnych funkcji można znaleźć w temacie Procesory przepływu danych.

Aby połączyć pierwszy procesor ze źródłem danych:

  1. Możesz wykonać jedną z następujących czynności:

    • Na karcie Procesory w lewym panelu przeciągnij wybrany procesor i upuść go na kanwie obok źródła.

      Konieczne będzie ręczne połączenie źródła i procesora. Utwórz łącze, klikając kropkę po prawej stronie węzła źródłowego oraz przytrzymując i przeciągając łącze do kropki po lewej stronie węzła procesora.

      Tworzenie łącza między źródłem a procesorem

    • Kliknij menu działań źródła, wybierz Dodaj procesor i kliknij wybrany procesor.

      Procesor jest umieszczony na płótnie i automatycznie połączony ze źródłem.

  2. Kliknij procesor, aby rozpocząć jego konfigurację w prawym panelu.

    Różne dostępne funkcje i parametry do skonfigurowania zależą od poszczególnych procesorów. Więcej informacji na ten temat można znaleźć w dokumentacji określonego procesora.

  3. Kliknij przycisk Zapisz.

  4. Dodaj i połącz tyle procesorów, ile potrzeba do przygotowania danych.

    Aktywny przełącznik Podgląd danych w panelu Podgląd pozwala zobaczyć efekty działania procesora na próbce danych. Kliknij ikonę koła zębatego, aby otworzyć Ustawienia podglądu i skonfigurować rozmiar próbki do 10 000 wierszy. Można również aktywować przełącznik Skrypt, aby wyświetlić odpowiednik skryptu Qlik dla przepływu danych w tym punkcie.

Wybieranie celu

Aby zakończyć przepływ danych, należy połączyć ostatni procesor z węzłem docelowym. Do wyboru są dwa typy miejsc docelowych:

  • Pliki danych dla plików przechowywanych w katalogu w usłudze Qlik Cloud.

  • Połączenia do zapisu w zewnętrznym źródle dodane jako połączenie w Qlik Cloud.

Obie opcje pozwalają eksportować przygotowane dane jako plik .qvd, .parquet, .txt lub .csv.

Aby połączyć miejsce docelowe z resztą przepływu:

  1. Możesz wykonać jedną z następujących czynności:

    • Na karcie Procesory w lewym panelu przeciągnij wybrany procesor i upuść go na kanwie obok źródła.

      Dodawanie celu poprzez przeciągnięcie i upuszczenie

      Ręcznie połącz ostatni procesor z miejscem docelowym tak samo jak poprzednio.

    • Kliknij menu działań źródła, wybierz Dodaj miejsce docelowe i kliknij wybrany procesor.

      Dodawanie miejsca docelowego za pomocą menu działań

  2. Kliknij miejsce docelowe, aby rozpocząć jego konfigurację w prawym panelu.

    InformacjaW przypadku Plików danych można zapisywać w określonym folderze żądanej przestrzeni. Jeśli na przykład masz folder o nazwie nazwa_folderu w swojej przestrzeni prywatnej, użyj nazwa_folderu/wyjscie-przeplywu_danych.qvd jako nazwy pliku docelowego. Plik wynikowy zostanie przesłany bezpośrednio do Twojego folderu.
  3. Kliknij przycisk Zapisz.

    Mając co najmniej jedno źródło danych, jedno miejsce docelowe i opcjonalny procesor, można teraz uruchomić przepływ danych.

Uruchamianie przepływu danych

Gdy wszystkie węzły przepływu danych są połączone, skonfigurowane i oznaczone jako OK, zielony znacznik wyboru wskazuje, że przepływ danych jest uznany za prawidłowy i może zostać uruchomiony. W tym momencie można użyć przycisku Podgląd skryptu w prawym górnym rogu kanwy, aby spojrzeć na pełny skrypt, który zostanie wygenerowany w tle.

Prawidłowy przepływ danych gotowy do uruchomienia

  1. Kliknij przycisk Uruchom przepływ, aby rozpocząć przetwarzanie danych.

    Zostanie wyświetlone powiadomienie informujące o statusie uruchomienia.

  2. Po pomyślnym zakończeniu przepływu przygotowane dane wyjściowe można znaleźć w różnych miejscach w zależności od miejsca docelowego:

    • W Katalogu wśród innych zasobów oraz w sekcji Dane wyjściowe w Przeglądzie przepływu danych w przypadku plików danych

    • W sekcji Dane wyjściowe w Przeglądzie przepływu danych w przypadku zestawów danych opartych na połączeniu.

Tak przygotowane dane można teraz wykorzystać jako czyste źródło danych do eksperymentu AutoML lub w aplikacji do wizualizacji.

Czy ta strona była pomocna?

Jeżeli natkniesz się na problemy z tą stroną lub jej zawartością — literówkę, brakujący krok lub błąd techniczny — daj nam znać, co możemy poprawić!