Umieszczanie danych ze źródeł danych

Pierwszym krokiem w przesyłaniu danych jest ich umieszczenie. Obejmuje to ciągłe przesyłanie danych z lokalnego źródła danych do obszaru umieszczania.

Dane można umieszczać z wielu źródeł danych za pomocą połączeń źródła. Więcej informacji można znaleźć w temacie Łączenie ze źródłami danych w Integracja danych Qlik Cloud.

Obszar umieszczania definiuje się podczas tworzenia projekt danych.

• Qlik Cloud (za pośrednictwem Amazon S3)

  Gdy umieszczasz dane w Qlik Cloud (za pośrednictwem Amazon S3), możesz ich użyć do wygenerowania tabel QVD gotowych do analizy w Qlik Cloud.

• Hurtownia danych w chmurze

  Gdy przenosisz dane do hurtowni danych w chmurze, takiej jak Snowflake lub Azure Synapse Analytics, możesz przechowywać tabele w tej samej hurtowni danych w chmurze.

Tworzenie i konfiguracja zadania umieszczania danych

W tym temacie opisano, jak utworzyć zadanie umieszczania danych. Najszybszym sposobem na stworzenie potoku danych jest dołączanie danych, które tworzą zadanie umieszczania danych i zadanie pamięci masowej danych, gotowe do przygotowania i uruchomienia. Aby uzyskać więcej informacji, zobacz temat Dołączanie danych.

1. Kliknij Dodaj nowy na stronie głównej Integracja danych Qlik Cloud i wybierz Dane umieszczania.

2. W oknie dialogowym Dane umieszczania wprowadź nazwę i opis zadania danych.

   Wybierz Otwórz, aby otworzyć zadanie umieszczania danych po jego utworzeniu.

   Kliknij polecenie Utwórz.

3. Kliknij Wybierz dane źródłowe.

4. Wybierz połączenie danych z danymi źródłowymi i kliknij Dalej.

   Możesz użyć filtrów w lewym panelu, aby przefiltrować listę połączeń według typu źródła, przestrzeni i właściciela.

   Jeśli nie masz jeszcze połączenia z danymi źródłowymi, musisz je najpierw utworzyć, klikając Dodaj połączenie.

   Aby uzyskać więcej informacji na temat konfigurowania połączenia z obsługiwanymi źródłami, zobacz Łączenie ze źródłami danych w Integracja danych Qlik Cloud.

   InformacjaPo wybraniu tabel w następnym kroku nie jest możliwa zmiana połączenia danych źródłowych z lokalnego źródła danych na źródło danych w chmurze lub odwrotnie. Możesz zmienić połączenie tylko na inne źródło danych tego samego typu.

5. Wybierz tabele i widoki, które chcesz włączyć do zasobu danych. Okno dialogowe wyboru różni się w zależności od typu źródła, z którym nastąpiło połączenie.

   Kiedy zakończysz wybór tabel, kliknij Zakończ.

   Zostanie wyświetlony ekran Zestawy danych.

6. Możesz zmienić ustawienia dotyczące umieszczania. Nie jest to wymagane.

   • Kliknij opcję Ustawienia.

   Więcej informacji na temat ustawień, patrz Ustawienia umieszczania.

7. Możesz teraz wyświetlać podgląd struktury i metadanych wybranych tabel zasobów danych. Dotyczy to wszystkich jawnie wybranych tabel oraz tabel pasujących do reguł wyboru.

   Jeśli chcesz dodać więcej tabel ze źródła danych, kliknij Wybierz źródło danych.

8. Możesz wykonywać transformacje na zestawach danych, filtrować dane lub dodawać kolumny.

   Aby uzyskać więcej informacji, zobacz temat Zarządzanie zestawami danych.

   InformacjaTransformacje są obsługiwane tylko w przypadku umieszczania danych za pośrednictwem Brama danych Qlik — ruch danych.

9. Po dodaniu odpowiednich transformacji możesz zatwierdzić zestawy danych, klikając Zatwierdź zestawy danych. Jeśli walidacja wykaże błędy, należy je naprawić przed kontynuacją.

   Aby uzyskać więcej informacji, zobacz temat Sprawdzanie poprawności i dostosowywanie zestawów danych.

10. Kiedy wszystko będzie gotowe, kliknij Przygotuj, aby skatalogować zadanie danych i przygotować je do wykonania.

11. Gdy zadanie danych zostanie przygotowane i zechcesz rozpocząć replikację danych, kliknij Uruchom.

Replikacja powinna się teraz rozpocząć, a jej przebieg możesz zobaczyć w menu Monitoruj. Więcej informacji zawiera temat Monitorowanie zadania umieszczania.

Wybieranie danych z Brama danych Qlik — ruch danychpołączenia źródła

Możesz wybrać określone tabele lub widok, lub użyć reguł wyboru w celu uwzględnienia lub wykluczenia grup tabel.

Użyj % jako symbolu wieloznacznego, aby określić kryteria wyboru schematów i tabel.

• %.% określa wszystkie tabele we wszystkich schematach.

• Public.% definiuje wszystkie tabele w schemacie Publiczny.

Kryteria wyboru dają podgląd na podstawie Twoich wyborów.

Możesz teraz:

• Utwórz regułę, aby włączyć lub wykluczyć grupę tabel na podstawie kryteriów wyboru.

  Kliknij przycisk Dodaj regułę spośród kryteriów wyboru, aby utworzyć regułę, a następnie wybierz opcjęUwzględnij lub Wyklucz.

  Regułę można zobaczyć w sekcji Reguły selekcji.

• Zaznacz jeden lub więcej zestawów danych, a następnie kliknij Dodaj wybrane zestawy danych.

  Dodane zestawy danych możesz zobaczyć w sekcji Jawnie wybrane zestawy danych.

Reguły wyboru dotyczą tylko aktualnego zestawu tabel i widoków, a nie tabel i widoków dodanych w przyszłości.

Uruchomienie zadania umieszczania z pełnym ładowaniem i CDC

Możesz uruchomić zadanie umieszczania danych, gdy zostanie przygotowane. Spowoduje to uruchomienie replikacji, która przesyła dane z lokalnego źródła danych do obszaru umieszczania.

• Kliknij Uruchom, aby rozpocząć umieszczanie danych.

Replikacja powinna się teraz rozpocząć, a zasób danych będzie miał status Uruchomiony. Najpierw kopiowane jest pełne źródło danych, a następnie śledzone są zmiany. Oznacza to, że zmiany są stale śledzone i przesyłane po wykryciu. Dzięki temu dane do umieszczania w obszarze umieszczania są aktualne.

Na stronie głównej Integracja danych Qlik Cloud możesz zobaczyć status, datę i godzinę aktualizacji danych do umieszczania oraz liczbę tabel z błędami. Możesz również otworzyć zasób danych i wybrać kartę Tabele, aby wyświetlić podstawowe informacje o metadanych tabel.

Możesz szczegółowo monitorować postęp, otwierając kartę Monitoruj. Więcej informacji zawiera temat Monitorowanie zadania umieszczania.

Kiedy wszystkie tabele są załadowane, a pierwszy zestaw zmian przetworzony, pozycja Dane są zaktualizowane do na karcie zasobu danych pokazuje, że w zadaniu danych są dostępne zmiany źródła do tego czasu.

Uruchamianie zadania umieszczania danych z Pełnym ładowaniem

Możesz kopiować dane, używając zadania umieszczania danych, kiedy zostanie przygotowane.

• Kliknij polecenie Uruchom, aby rozpocząć pełne ładowanie.

Rozpocznie się teraz kopiowanie danych, a zadanie danych będzie miało status Uruchomiono. Kiedy skopiowane zostanie pełne źródło danych, status zmieni się na Zakończone.

Na stronie głównej Integracja danych Qlik Cloud możesz zobaczyć status, datę i godzinę aktualizacji danych do umieszczania oraz liczbę tabel z błędami. Możesz również otworzyć zasób danych i wybrać kartę Tabele, aby wyświetlić podstawowe informacje o metadanych tabel.

Możesz szczegółowo monitorować postęp, otwierając kartę Monitoruj. Więcej informacji zawiera temat Monitorowanie zadania umieszczania.

Kiedy wszystkie tabele są załadowane, pozycja Dane są zaktualizowane do na karcie zadania danych pokazuje, że w zasobie danych są dostępne zmiany źródła do tego czasu. Niektóre tabele zadania danych mogą jednak zostać zaktualizowane do późniejszego czasu, w zależności od tego, kiedy rozpoczęło się ładowanie. Oznacza to, że nie można zagwarantować spójności danych. Jeżeli na przykład ładowanie rozpoczęło się o godzinie 8:00 i trwało 4 godziny, pozycja Dane są aktualizowane do będzie po zakończeniu ładowania wskazywać godzinę 8:00. Tabela, której ładowanie rozpoczęło się o 11:30, będzie jednak zawierać zmiany ze źródła, które nastąpiły między 8:00 a 11:30.

Wartość Dane są zaktualizowane do odzwierciedla tylko tabele, które zostały pomyślnie załadowane. Nie wskazuje ona nic, co oznaczałoby niepowodzenie ładowania tabeli. W miejscach docelowych w chmurze pole będzie puste, jeśli ładowanie zakończy się błędem w przypadku wszystkich tabel.

Ładowanie danych przy użyciu Pełnego ładowania

Gdy używasz pełnego ładowania, bez CDC, musisz ponownie ładować dane, aby były aktualne względem źródła danych.

• Kliknij Uruchom, aby wykonać ręczne ładowanie danych.

• Skonfiguruj zaplanowane ładowanie.

Planowanie zadania umieszczania danych z pełnym ładowaniem

Możesz zaplanować okresowe przeładowanie zadania umieszczania danych, jeśli masz rolę Może operować w przestrzeni tego zadania danych. Aby harmonogram był aktywny, zadanie danych musi mieć status co najmniej Przygotowane.

• Kliknij ... na zadaniu danych i wybierz Planowanie.

  Możesz ustawić harmonogram oparty na czasie.

Ustawienia umieszczania

Możesz ustawić właściwości zadania umieszczania danych.

• Kliknij Ustawienia.

Ustawienia ogólne

• Baza danych

  Baza danych, która ma być użyta w celu.

  InformacjaTa opcja nie jest dostępna podczas umieszczania danych w Qlik Cloud (za pośrednictwem Amazon S3).

• Schemat zasobu danych

  Możesz zmienić nazwę schematu zasobu danych umieszczania. Nazwa domyślna to Umieszczanie.

  InformacjaTa opcja nie jest dostępna podczas umieszczania danych w Qlik Cloud (za pośrednictwem Amazon S3).

• Tryb umieszczania

  Dane można umieszczać w dwóch różnych trybach. Tryb jest ustawiany podczas tworzenia projektu danych. Po przygotowaniu zasobu danych umieszczania nie ma możliwości zmiany trybu.

  InformacjaJeśli twoje źródło danych nie obsługuje CDC, opcja ta jest wyłączona.

  • Pełne ładowanie i CDC

    Umieszczanie rozpoczyna się od pełnego ładowania. Umieszczone dane są następnie aktualizowane przy użyciu technologii przechwytywania danych zmian CDC. CDC może nie być obsługiwane przez wszystkie źródła danych. CDC nie rejestruje operacji DDL, takich jak zmiana nazwy kolumn czy zmiany w metadanych.

  • Pełne ładowanie

    Dane do umieszczenia są ładowane tylko w pełni ze źródła. Jest to przydatne, jeśli źródło nie obsługuje CDC, ale można używać tego trybu z dowolnym obsługiwanym źródłem danych.

    Możesz zaplanować okresowe ponowne ładowania.

• Serwer proxy podczas używania bramy Ruch danych

  Możesz wybrać serwer proxy, kiedy brama Ruch danych łączy się z hurtownią danych w chmurze i obszarem przechowywania.

  Aby uzyskać więcej informacji na temat konfigurowania bramy Ruch danych pod kątem użycia serwera proxy, patrz Ustawianie Qlik Cloud dzierżawcy i serwera proxy.

  • Używaj serwera proxy do łączności z hurtownią danych

    InformacjaDostępne podczas pracy z Snowflake, Google BigQuery i Databricks.

  • Używaj serwera proxy do łączności z pamięcią masową

    InformacjaDostępne podczas pracy z Azure Synapse Analytics, Amazon Redshift i Databricks.

• Folder do użycia

  Możesz wybrać folder, który będzie używany podczas umieszczania danych.

  InformacjaTa opcja jest dostępna tylko podczas umieszczania danych w Qlik Cloud (za pośrednictwem Amazon S3).

  • Domyślny folder

    W ten sposób zostanie utworzony folder o domyślnej nazwie: <nazwa projektu>/<nazwa zadania danych>.

  • Folder główny

    Zapisz dane w głównym folderze pamięci masowej.

  • Folder

    Określ nazwę folderu, który ma być używany.

Ustawienia czasu działania

• LOB (Duży obiekt)

  Możesz zdecydować o włączeniu kolumn LOB i określić maksymalny rozmiar LOB. Obiekty LOB, które mają rozmiar większy od maksymalnego, zostaną przycięte.

  InformacjaPodczas używaniaAzure Synapse Analytics jako celu, maksymalny rozmiar LOB nie może być większy niż 7 MB.

• Wykonanie równoległe

  Możesz ustawić maksymalną liczbę połączeń danych dla pełnego ładowania w zakresie od 1 do 5.

• Zmień interwał przetwarzania

  Możesz ustawić interwał przetwarzania zmian ze źródła.

  InformacjaTa opcja jest dostępna tylko podczas umieszczania danych w Qlik Cloud (za pośrednictwem Amazon S3).

Operacje na zadaniu danych do umieszczania

Z menu zasobów można wykonać następujące operacje na zasobie danych do umieszczania.

• Otwórz

  Powoduje otwarcie zadania umieszczania danych. Możesz wyświetlić strukturę tabeli i szczegóły dotyczące zadania danych.

• Edytuj

  Umożliwia edycję nazwy i opisu zadania oraz dodawanie znaczników.

• Usuń

  Możesz usunąć zadanie danych.

  Następujące obiekty nie są usuwane i należy je usunąć ręcznie:

  • Dane w obszarze umieszczania.

• Uruchom

  Możesz uruchomić zadanie danych, aby rozpocząć kopiowanie danych.

  Uruchomienie zadania umieszczania z pełnym ładowaniem i CDC

  Uruchamianie zadania umieszczania danych z Pełnym ładowaniem

• Zatrzymaj

  Możesz zatrzymać działanie zadania danych. Obszar umieszczania nie zostanie zaktualizowany o zmienione dane.

  Kiedy zatrzymasz zadanie danych wykonujące pełne ładowanie i mające harmonogram przeładowania, zatrzymane zostanie tylko bieżące przeładowanie. Jeśli zadanie danych będzie mieć status Zatrzymano, a istnieje aktywny harmonogram przeładowania, zostanie ono ponownie załadowane następnym razem według harmonogramu. Musisz wyłączyć harmonogram ładowania w Zaplanuj przeładowanie.

• Przeładuj

  Ręczne przeładowanie zadania danych można wykonać w trybie pełnego ładowania.

• Przygotuj

  Przygotowuje to zadanie do wykonania. Obejmuje to następujące czynności:

  • Weryfikację poprawności projektu.

  • Tworzenie lub modyfikowanie fizycznych tabel i widoków w celu dopasowania do projektu.

  • Generowanie kodu SQL dla zadania danych.

  • Tworzenie lub modyfikowanie pozycji katalogu dla wyjściowych zestawów danych zadania.

• Odtwarzanie tabel

  Odtwarza zbiory danych ze źródła.

  Należy też ponownie utworzyć wszystkie zadania danych podrzędnych, które korzystają z tego zadania danych.

• Planowanie

  Zaplanowane ładowanie zadań umieszczania danych można skonfigurować w trybie Pełne ładowanie. Możesz ustawić harmonogram oparty na czasie, który można dostosować.

  Możesz także włączyć lub wyłączyć zaplanowane ładowania.

  Do planowania przeładowania wymagana jest rola Może operować w odniesieniu do przestrzeni tego zadania danych.

• Przechowaj dane

  Możesz utworzyć zadanie przechowywania danych, które wykorzystuje dane z tego zadania umieszczania danych.

Utrzymanie obszaru umieszczania

Automatyczne czyszczenie obszaru umieszczania nie jest obsługiwane. Może to wpłynąć negatywnie na wydajność.
Zalecamy ręczne czyszczenie starych danych pełnego załadowania w obszarze umieszczania.

• Qlik Cloud (za pośrednictwem Amazon S3)

  Jeśli istnieje kilka folderów z danymi pełnego załadowania, możesz usunąć wszystkie oprócz najnowszego folderu. Możesz także usunąć partycje danych zmiany, które zostały przetworzone.

• Hurtownia danych w chmurze

  Możesz usunąć rekordy pełnego ładowania i tabel zmian, które zostały przetworzone.

Ograniczenia

• Właściwości połączenia źródłowego i umieszczania, takie jak dane uwierzytelniające, SSL i proxy, są propagowane do umieszczania tylko podczas katalogowania. Jeśli nastąpi zmiana danych uwierzytelniających połączenia źródłowego lub umieszczania, nowe dane uwierzytelniające nie będą propagowane do umieszczania po zatrzymaniu, wznowieniu lub odzyskaniu. Oznacza to, że umieszczanie może się nie udać i trzeba będzie je odtworzyć, aby je odzyskać.

• Replikacja danych varchar dłuższych niż 8000 bajtów lub Nvarchar dłuższych niż 4000 bajtów nie jest obsługiwana.