Tworzenie potoku danych

Utworzenie potoku danych umożliwia przeprowadzenie integracji wszystkich danych w ramach projektu danych przy użyciu zadań dotyczących danych. Dołączenie powoduje przeniesienie danych ze źródeł danych lokalnych i w chmurze do projektu oraz ich zapisanie w gotowych do wykorzystania zestawach danych. Można też przeprowadzić transformacje i utworzyć tematyczne hurtownie danych, aby wykorzystać wygenerowane i przekształcone zestawy danych. Potok danych może być prosty i liniowy lub złożony — wykorzystujący kilka źródeł danych i generujący wiele danych wyjściowych.

Wszystkie zadania danych zostaną utworzone w tej samej przestrzeni co projekt danych, do którego należą.

Można także wyświetlać pochodzenie, aby śledzić dane i transformacje danych wstecz do pierwotnego źródła, a także przeprowadzać analizę wpływu, która daje wybiegający w przyszłość wgląd w zależności zadań danych, zestawów danych lub pól. Więcej informacji zawiera temat Praca z pochodzeniem i analizą wpływu w sekcji Integracja danych.

Docelowe platformy danych

Projekt danych jest powiązany z platformą danych, która służy jako miejsce docelowe wszystkich danych wyjściowych.

Więcej informacji o obsługiwanych platformach danych zawiera temat Łączenie się z miejscami docelowymi.

Wprowadzenie wideo do projektów danych

Przykład tworzenia projektu danych

W poniższym przykładzie przedstawiono dołączenie danych, ich transformację i utworzenie data martu. Spowoduje to utworzenie prostego liniowego potoku danych, który można rozszerzyć przez dołączenie większej liczby źródeł danych, utworzenie kolejnych transformacji i dodanie wygenerowanych zadań danych do data martu.

1. Utwórz nowy projekt danych.

   Na stronie głównej Integracja danych Qlik Cloud kliknij opcję Dodaj nowy, a następnie Utwórz projekt danych.

   1. Wpisz nazwę i opis projektu danych oraz wybierz przestrzeń, w której ma zostać utworzony projekt danych. Wszystkie zadania danych zostaną utworzone w przestrzeni projektu danych, do którego należą.

   2. Wybierz opcję Potok danych w obszarze Zastosowanie.

   3. Wybierz platformę danych do użycia w projekcie.

   4. Wybierz połączenie danych z hurtownią danych w chmurze, której chcesz użyć w projekcie. Posłuży do umieszczenia plików danych i przechowywania zestawów danych oraz widoków. Jeśli jeszcze nie ma przygotowanego połączenia danych, utwórz je przy użyciu opcji Dodaj połączenie.

      W przypadku wybrania platformy danych Google BigQuery, Databricks lub Microsoft Azure Synapse Analytics musisz też utworzyć połączenie z obszarem tymczasowym.

   5. Jeśli jako platformę danych wybierzesz Qlik Cloud:

      Możesz przechowywać dane w zarządzanej pamięci masowej Qlik lub we własnym zarządzanym zasobniku Amazon S3. Aby korzystać z własnego zasobnika Amazon S3, musisz też wybrać połączenie danych z tym zasobnikiem.

      W obu przypadkach musisz wybrać również połączenie danych z obszarem tymczasowym Amazon S3. Jeśli używasz zasobnika zdefiniowanego w poprzednim kroku, jako obszar tymczasowy musisz wybrać inny folder w tym zasobniku.

   6. Kliknij polecenie Utwórz.

      Zostanie utworzony projekt danych i będzie można utworzyć potok danych przez dodanie zadań danych.

2. Dołącz dane.

   Kliknij opcję Dodaj nowy, a następnie Dołącz dane.

   Aby uzyskać więcej informacji, zobacz temat Dołączanie danych.

   Spowoduje to utworzenie zadania umieszczania danych i zadania pamięci masowej danych. Aby rozpocząć replikację danych:

   • Przygotuj i uruchom zadanie umieszczania danych.

     Aby uzyskać więcej informacji, zobacz temat Umieszczanie danych ze źródeł danych.

   • Przygotuj i uruchom zadanie pamięci masowej danych.

     Więcej informacji zawiera temat Przechowywanie zestawów danych.

3. Przekształć dane.

   Po utworzeniu zadania pamięci masowej danych wróć do projektu danych. Teraz możesz przeprowadzić transformacje na utworzonych zestawach danych.
   

   Aby utworzyć zadanie danych transformacji na podstawie tego zadania danych pamięci masowej, kliknij ikonę ... obok zadania danych pamięci masowej i wybierz polecenie Przekształć dane. Instrukcję dotyczącą transformacji zawiera temat Przekształcanie danych.

4. Tworzenie data martu (tematycznej hurtowni danych)

   Data mart można utworzyć na podstawie zadania pamięci masowej danych lub zadania danych transformacji.

   Aby utworzyć zadanie danych data mart, kliknij ikonę ... obok zadania danych i wybierz polecenie Utwórz data mart. Instrukcję dotyczącą tworzenia data martu zawiera temat:

   Tworzenie data martów (tematycznych hurtowni danych) i zarządzanie nimi

Po wykonaniu pierwszego pełnego ładowania zapisanych i przekształconych zestawów danych oraz data martów można użyć ich na przykład w aplikacji analitycznej. Więcej informacji o tworzeniu aplikacji analitycznej zawiera temat Tworzenie aplikacji analitycznej przy użyciu zestawów danych wygenerowanych przez Integracja danych Qlik Cloud.

Potok danych można rozszerzyć przez dołączenie kolejnych źródeł danych i połączenie ich w transformacji lub data marcie.

Operacje w projekcie danych

Te same operacje, które są dostępne dla zadania danych, możesz wykonywać jako operacje projektu danych. Umożliwia to zorganizowanie operacji w potoku danych.

• Włączanie i wyłączanie harmonogramów

• Wykonywanie operacji projektowania

• Rozpoczynanie i zatrzymywanie wykonywania zadań danych

• Usuwanie zadań danych

Kliknij Operacje, aby wyświetlić stan operacji w toku lub ostatnio wykonanej operacji.

Trwającą operację możesz zatrzymać, klikając Zatrzymaj operację. Trwające zadania związane z danymi nie zostaną zatrzymane, ale każde nierozpoczęte zadanie zostanie anulowane.

Włączanie i wyłączanie harmonogramów

Harmonogramy zadań danych można kontrolować na poziomie projektu.

• Kliknij ..., a następnie Harmonogram.

  Harmonogram można włączać i wyłączać dla wszystkich zadań związanych z danymi lub dla wybranych zadań. Wyświetlane są tylko zadania ze zdefiniowanym harmonogramem.

  InformacjaTa opcja nie jest dostępna dla projektów danych z platformą danych Qlik Cloud.

Aby uzyskać więcej informacji na temat planowania poszczególnych zadań danych, zobacz:

• Planowanie zadania umieszczania danych z Przeładowaniem i porównaniem

• Planowanie zadania pamięci masowej

• Planowanie zadania transformacji

• Planowanie zadania data martu

Wykonywanie operacji projektowych

Operacje projektowe można wykonywać na wszystkich zadaniach danych w projekcie danych lub na wybranych zadaniach. Ułatwia to kontrolowanie zadań zestawu danych w projekcie danych zamiast wykonywania operacji projektowych indywidualnie w każdym zadaniu.

• Sprawdź poprawność

  Kliknij Sprawdź poprawność, aby sprawdzić poprawność wszystkich lub wybranych zadań. Zadania dotyczące danych, które zostały zmienione od czasu ostatniej operacji sprawdzania poprawności, są wstępnie wybrane.

  Zadania danych są sprawdzane w kolejności potoku.

• Przygotuj

  Kliknij Przygotuj, aby przygotować wszystkie lub wybrane zadania. Zadania danych, które zostały zmienione od czasu ostatniej operacji przygotowania, są wstępnie wybrane.

  Możesz wybrać odtworzenie zestawów danych, które wymagają zmiany struktury nieobsługiwanej przez platformę danych. Może to prowadzić do utraty danych.

• Odtwórz

  Kliknij ..., a następnie Utwórz ponownie, aby odtworzyć zestawy danych ze źródła dla wszystkich lub wybranych zadań.

Uruchamianie zadań danych

Możesz zainicjować wykonanie wszystkich zadań danych w projekcie danych lub wybranych zadań, zamiast uruchamiać je pojedynczo. Na przykład możesz uruchamiać wszystkie zadania z harmonogramem opartym na czasie. Spowoduje to zainicjowanie podrzędnych zadań z harmonogramem opartym na zdarzeniach.

• Uruchom

  Kliknij Uruchom, aby zainicjować wykonanie wszystkich lub wybranych zadań. Zainicjuje to uruchomienie wszystkich wybranych zadań i zakończy się, gdy tylko zaczną być wykonywane.

  Możesz wybrać spośród wszystkich zadań, które są gotowe do uruchomienia. Zadania z harmonogramem opartym na czasie i zadania korzystające z CDC są wstępnie wybrane. Zadania z harmonogramem opartym na zdarzeniach nie są wstępnie wybierane, ponieważ zostaną wykonane, gdy będą miały dane do przetworzenia.

  W projekcie z platformą danych Qlik Cloud wszystkie zadania umieszczania i przechowywania są wstępnie wybrane.

  InformacjaWszystkie zadania danych są wykonywane równolegle. Oznacza to, że sprawdzanie zależności może uniemożliwić uruchomienie niektórych zadań.

• Zatrzymaj

  Kliknij Zatrzymaj, aby zatrzymać wszystkie lub wybrane zadania.

  Możesz wybierać spośród uruchomionych zadań.

Usuwanie zadań danych

• Kliknij Usuń, aby usunąć wszystkie zadania danych w projekcie danych lub wybrane zadania.

Zmiana widoku projektu danych

Istnieją dwa różne widoki projektu danych. Widoki można przełączać, klikając Widok potoku.

• Widok potoku pokazuje przepływ danych zadań danych.

  Ilość informacji wyświetlanych dla zadań danych można wybrać, klikając Warstwy. Włącz lub wyłącz następujące informacje:

  • Status

  • Świeżość danych

  • Harmonogram

• Widok karty pokazuje informacje o zadaniu danych.

  Możesz filtrować według typu zasobu i właściciela.

Eksportowanie i importowanie projektów danych

Projekt danych można wyeksportować do pliku JSON, który zawiera wszystko, co jest potrzebne do zrekonstruowania projektu danych. Wyeksportowany plik JSON można zaimportować do tej samej lub do innej dzierżawy. Można tego użyć na przykład do przenoszenia projektów danych z jednej dzierżawy do innej lub do tworzenia kopii zapasowych projektów danych.

Aby uzyskać więcej informacji, zobacz temat Eksportowanie i importowanie potoków danych.

Ustawienia projektu danych

Można ustawić właściwości wspólne projektu oraz wszystkich uwzględnionych zadań danych.

• Kliknij Ustawienia.

Aby uzyskać więcej informacji, zobacz temat Ustawienia projektu danych.