Przeskocz do zawartości głównej

Umieszczanie danych ze źródeł danych w chmurze

Pierwszym krokiem w przesyłaniu danych jest ich umieszczenie. Obejmuje to ciągłe przesyłanie danych z chmurowego źródła danych do obszaru umieszczania za pomocą połączenia danych w Qlik Cloud.

Dane można umieścić bezpośrednio w Snowflake lub Google Cloud BigQuery, bez konieczności korzystania z zasobnika Amazon S3 jako obszaru umieszczania. Umieszczanie powoduje wykonywanie pełnego ładowania tylko ze źródła, ale możesz zaplanować okresowe ładowania.

Tworzenie i konfiguracja zasobu danych do umieszczenia

  1. Kliknij Dodaj nowy na stronie głównej Data Services i wybierz Utwórz zasób danych.
  2. W oknie dialogowym Utwórz zasób danych wpisz:

    • Nazwa: Nazwa zasobu danych do umieszczania.

    • Przestrzeń Przestrzeń danych do utworzenia zasobu danych do umieszczania.

    • Typ zasobu: Wybierz Umieszczanie.

    Możesz dodać znaczniki, aby łatwiej znajdować zasoby danych na stronie głównej Data Services.

    Wybierz Otwórz, aby otworzyć zasób danych do umieszczania po jego utworzeniu.

    Kliknij polecenie Utwórz.

  3. Kliknij Wybierz dane źródłowe.

  4. Wybierz połączenie danych z danymi źródłowymi i kliknij Dalej.

    Możesz użyć filtrów w lewym panelu, aby przefiltrować listę połączeń według typu źródła, przestrzeni i właściciela.

    Jeśli nie masz jeszcze połączenia z danymi źródłowymi, musisz je najpierw utworzyć:

    1. Kliknij pozycję Dodaj połączenie.

    2. Wybierz źródło danych.

    3. Wprowadź nazwę połączenia, adres do źródła danych, poświadczenia i inne wymagane informacje. Zależy to od typu źródła danych. Aby uzyskać więcej informacji, zobacz Obsługiwane źródła danych Qlik Cloud i skorzystaj z łącza do swojego źródła danych.

    4. Kliknij Testuj połączenie, aby sprawdzić, czy zostały wprowadzone prawidłowe informacje.

    5. Kliknij polecenie Utwórz.

  5. Wybierz tabele, które chcesz uwzględnić w zasobie danych, oraz pola, które chcesz uwzględnić w każdej tabeli. Wszystkie pola są domyślnie zaznaczone.

    Okno dialogowe wyboru danych może mieć różne opcje w zależności od typu źródła danych. Niektóre źródła danych mają ograniczenia dotyczące ilości wybieranych danych. W przypadku niektórych źródeł danych można na przykład wybrać tylko jedną tabelę naraz. Można wtedy wrócić do okna dialogowego wyboru i dodać więcej tabel w kroku 7.

    Aby uzyskać więcej informacji o źródle danych, zobacz Obsługiwane źródła danych Qlik Cloud i przejdź do źródła danych.

    Kiedy wszystko będzie gotowe, kliknij Zakończ.

  6. Skonfiguruj Właściwości umieszczania.

    Wybierz połączenie z obszarem umieszczania w Połączeniu do umieszczania. Jeśli nie masz jeszcze połączenia z obszarem umieszczania, musisz je najpierw utworzyć, klikając +.

    Dane można umieszczać w następujących miejscach docelowych w chmurze:

    • Snowflake

    • Google Cloud BigQuery

    Ustaw Schemat zasobu danych na schemat, w którym powinny znajdować się dane. Domyślnie używany jest schemat określony w Połączeniu do umieszczania.

    Użyj opcji Prefiks nazw tabeli, aby rozwiązać konflikty między zasobami danych, które używają tego samego schematu zasobu danych. Zachowaj automatycznie wygenerowany prefiks lub wprowadź własny.

    WskazówkaW sekcji Zaawansowane można również ustawić Maksymalną liczbę tabel do załadowania równoległego. Możesz ustawić wartość od 1 do 5.

    Kiedy wszystko będzie gotowe, kliknij OK.

  7. Wyświetl podgląd struktury i metadanych wybranych tabel zasobów danych.

    Jeśli chcesz dodać więcej tabel ze źródła danych, kliknij Wybierz tabele.

    InformacjaNie będzie widać, które tabele są już wybrane w zasobie danych. Jeśli wybierzesz je ponownie, zostaną dodane jako duplikaty.

    Kiedy wszystko będzie gotowe, kliknij Zapisz.

  8. Kliknij Kataloguj, aby skatalogować zasób danych.

    W ten sposób zasób danych do umieszczania w chmurze stanie się dostępny jako źródło zasobu danych w pamięci bez rozpoczynania przesyłania danych.

    InformacjaPo skatalogowaniu zasobu danych nie można wprowadzać zmian w danych źródłowych, które wpływają na wybór tabeli ani strukturę zasobu danych. Każda taka zmiana wymaga ponownego utworzenia zasobu danych i wszystkich zasobów, które go wykorzystują i są już skatalogowane.

Gdy zasób zostanie zapisany i skatalogowany, wyświetlany jest stan Gotowy do uruchomienia, co wskazuje, że zasób został skatalogowany. Teraz możesz wykonywać następujące czynności:

  • Wyświetl podgląd struktury i metadanych tabel zasobów danych.

    Kliknij opcję Tabele.

  • Uruchom zasób danych, aby zacząć ładować dane.

    Kliknij Ładuj.

  • Zaplanuj okresowe ładowania.

    Kliknij Zaplanuj przeładowanie.

  • Utwórz zasób danych w pamięci na podstawie tego zasobu danych do umieszczania. Zasób danych w pamięci masowej konwertuje dane w obszarze umieszczania na tabele i wyniki gotowe do analizy.

    Replikacja i konwersja rozpoczną się dopiero po uruchomieniu zasobów danych.

    Kliknij Utwórz zasób danych w pamięci.

    Więcej informacji zawiera temat: Generowanie i przechowywanie tabel

Obsługiwane źródła danych Qlik Cloud

Obsługiwane są następujące źródła danych Qlik Cloud. Aby uzyskać więcej informacji na temat tworzenia połączeń i wybierania danych, użyj łączy do poszczególnych źródeł danych.

Amazon DynamoDB (tylko w języku angielskim)

Amazon Redshift (tylko w języku angielskim)

Azure Synapse Analytics (tylko w języku angielskim)

Cassandra (tylko w języku angielskim)

Couchbase (tylko w języku angielskim)

Databricks (tylko w języku angielskim)

Google Analytics (tylko w języku angielskim)

Google BigQuery (tylko w języku angielskim)

JIRA (tylko w języku angielskim)

Marketo (tylko w języku angielskim)

Microsoft Dynamics CRM (tylko w języku angielskim)

MongoDB (tylko w języku angielskim)

OData (tylko w języku angielskim)

Qualtrics (tylko w języku angielskim)

Salesforce (tylko w języku angielskim)

Slack V2 (tylko w języku angielskim)

Snowflake (tylko w języku angielskim)

SugarCRM (tylko w języku angielskim)

SurveyMonkey (tylko w języku angielskim)

Twitter (tylko w języku angielskim)

Uruchamianie zasobu danych do umieszczania

Teraz możesz ładować dane, używając zasobu danych do umieszczania.

  • Kliknij polecenie Ładuj, aby rozpocząć pełne ładowanie.

Replikacja powinna się teraz rozpocząć, a powiązane zadanie Qlik Replicate powinno być uruchomione. W tym czasie zasób danych będzie miał status Uruchomiono. Kiedy skopiowane zostanie pełne źródło danych, status zmieni się na Zakończone.

Na stronie głównej Data Services możesz zobaczyć status, datę i godzinę aktualizacji danych do umieszczania oraz liczbę tabel z błędami. Możesz również otworzyć zasób danych i wybrać kartę Tabele, aby wyświetlić podstawowe informacje o metadanych tabel.

Kiedy wszystkie tabele są załadowane, pozycja Dane są zaktualizowane do na karcie zasobu danych pokazuje, że w zasobie danych są dostępne zmiany źródła do tego czasu. Niektóre tabele zasobu danych mogą jednak zostać zaktualizowane do późniejszego czasu, w zależności od tego, kiedy rozpoczęło się ładowanie. Oznacza to, że nie można zagwarantować spójności danych. Jeżeli na przykład ładowanie rozpoczęło się o godzinie 8:00 i trwało 4 godziny, pozycja Dane są aktualizowane do będzie po zakończeniu ładowania wskazywać godzinę 8:00. Tabela, której ładowanie rozpoczęło się o 11:30, będzie jednak zawierać zmiany ze źródła, które nastąpiły między 8:00 a 11:30.

Wartość Dane są zaktualizowane do odzwierciedla tylko tabele, które zostały pomyślnie załadowane. Nie wskazuje ona nic, co oznaczałoby niepowodzenie ładowania tabeli. W miejscach docelowych w chmurze pole będzie puste, jeśli ładowanie zakończy się błędem w przypadku wszystkich tabel.

Ładowanie danych

Aby dane były aktualne względem źródła danych, należy je ładować ponownie.

  • Kliknij Przeładuj, aby wykonać ręczne ładowanie danych.

  • Skonfiguruj zaplanowane ładowanie.

Widoki w zasobach danych w pamięci masowej, które wykorzystują zasób danych do umieszczenia, nie są dostępne, gdy zasób danych do umieszczenia jest ładowany. Podczas ładowania nie zaleca się wykonywania następujących operacji, ponieważ mogą one spowodować częściowe załadowanie danych:

  • Wysyłanie zapytania do zasobu danych w pamięci masowej.

  • Ładowanie danych z zasobu danych w pamięci masowej.

Weź to pod uwagę podczas planowania harmonogramu ładowania zasobu danych do umieszczenia.

Planowanie ładowania zasobu danych do umieszczenia

Możesz zaplanować okresowe ładowanie zasobu danych do umieszczenia, jeśli masz rolę Może operować w przestrzeni tego zasobu danych. Aby harmonogram był aktywny, stan zasobu danych musi być co najmniej Gotowy do uruchomienia.

  • Gdy zasób danych jest otwarty, kliknij Zaplanuj przeładowanie.

InformacjaJeżeli zaplanowane ładowanie ma się rozpocząć w trakcie trwającego ładowania zasobu danych, zaplanowane ładowanie jest pomijane do następnego zaplanowanego zdarzenia ładowania.

Operacje na zasobie danych do umieszczania

Z menu zasobów można wykonać następujące operacje na zasobie danych do umieszczania.

  • Otwórz

    Powoduje otwarcie zasobu danych do umieszczania. Możesz wyświetlić strukturę tabeli i szczegóły dotyczące zasobu danych.

  • Edytuj

    Umożliwia edycję nazwy i opisu zasobu oraz dodawanie znaczników.

  • Zatrzymaj

    Powoduje zatrzymanie działania zasobu danych. Spowoduje to zatrzymanie aktualizacji obszaru umieszczania o zmienione dane.

    Kiedy zatrzymasz zasób danych mający harmonogram ponownego ładowania, zatrzymane zostanie tylko bieżące ładowanie. Jeśli zasób danych będzie mieć status Zatrzymano, a istnieje aktywny harmonogram ładowania, zostanie on ponownie załadowany następnym razem według harmonogramu. Aby zatrzymać zaplanowane ładowania, musisz wyłączyć harmonogram ładowania w Zaplanuj przeładowanie.

  • Wznów

    Umożliwia wznowienie działania zasobu danych od momentu, w którym został zatrzymany.

  • Przeładuj

    Ręczne ładowanie zasobu danych można wykonać tylko w trybie pełnego ładowania.

  • Usuń

    Powoduje usunięcie zasobu danych.

    Dane w obszarze umieszczania nie są usuwane i trzeba je usunąć ręcznie:

Utrzymanie obszaru umieszczania

Automatyczne czyszczenie obszaru umieszczania nie jest obsługiwane. Może to wpłynąć negatywnie na wydajność.
Zalecamy ręczne czyszczenie starych danych pełnego załadowania w obszarze umieszczania.