Przechowywanie strumieniowych zestawów danych

Następujące ustawienia zadania transformacji strumieniowej mają zastosowanie do projektów Qlik Open Lakehouse korzystających ze źródła strumieniowego.

Możesz przechowywać i transformować dane strumieniowe za pomocą zadania transformacji danych strumieniowych. Dane strumieniowe często zawierają zagnieżdżone struktury i tablice, które wymagają spłaszczenia, a możliwości transformacji są potrzebne podczas fazy przechowywania. Te możliwości są dostępne dla zadania transformacji strumieniowej, umożliwiając zastosowanie transformacji natychmiast po umieszczeniu danych strumieniowych.

Ustawienia pamięci masowej

Możesz ustawić właściwości zadania transformacji danych strumieniowych, gdy platformą danych jest Qlik Open Lakehouse.

• Kliknij opcję Ustawienia.

Ustawienia ogólne

• Schemat zadania

  Możesz zmienić nazwę schematu zadania transformacji strumieniowej. Domyślna nazwa to nazwa zadania pamięci masowej.

• Schemat wewnętrzny

  Możesz zmienić nazwę schematu zasobu danych wewnętrznej pamięci masowej. Domyślną nazwą jest nazwa zadania pamięci masowej z dodatkiem _internal.

• Sufiks dla wszystkich tabel i widoków

  Możesz ustawić prefiks dla wszystkich tabel i widoków utworzonych za pomocą tego zadania.

  InformacjaJeśli chcesz użyć schematu bazy danych w kilku zadaniach danych, musisz użyć unikatowego prefiksu.

• Folder do użycia

  Możesz zmienić folder przechowywania zadania transformacji strumieniowej.

• Załaduj ustawienia nowych zestawów danych

  • Tylko dołącz

    Dodaje nowe rekordy bez modyfikowania istniejących danych.Ograniczenia klucza nie są wymuszane, jeśli pojawią się zduplikowane rekordy.

  • Zastosuj zmiany (Merge)

    Aktualizuje istniejące rekordy i wstawia nowe rekordy na podstawie pól kluczowych.

    Jeśli wybierzesz scalanie zmian, możesz również wybrać następujące opcje:

    • Usuwanie logiczne rekordów poprzez podanie wyrażenia usuwania

      Zdefiniuj wyrażenie usuwania, aby oznaczyć rekordy do usunięcia.

    • Zachowaj historyczne rekordy (Typ 2)

      Zachowaj poprzednie wersje zmienionych rekordów.

• Anulowanie zagnieżdżenia kolumn

  • Zachowaj zagnieżdżone kolumny

    Wybierz, aby zachować zagnieżdżone dane.

  • Anuluj zagnieżdżenie, rozmieszczając w osobnych kolumnach

    Domyślne zachowanie polega na rozgrupowaniu na osobne kolumny.

• Partycja tabel docelowych

  • Brak partycji

    Nowe tabele są tworzone bez partycji.

  • Partycjonowanie według daty zdarzenia

    Nowe tabele są partycjonowane według daty pozyskania zdarzeń.

Ustawienia czasu działania

• Klaster lakehouse

  Możesz zmienić klaster lakehouse, ale musi on obsługiwać obciążenia strumieniowe lub mieszane.

Ustawienia ewolucji schematu

• Dodaj kolumny na poziomie głównym

  To ustawienie ma zastosowanie, gdy nowe kolumny są dodawane do strumieniowego zadania umieszczania na poziomie głównym.

  • Zastosuj do celu

    Automatycznie dodaje nowe kolumny na poziomie głównym ze strumieniowego zadania umieszczania do zadania transformacji strumieniowej. Jest to ustawienie domyślne.

  • Ignoruj

    Nie dodaje nowych kolumn na poziomie głównym.

  • Zatrzymaj zadanie

    Zatrzymuje zadanie transformacji, jeśli nowa kolumna na poziomie głównym zostanie wykryta w zadaniu umieszczania strumienia.

• Dodaj kolumny do struktur

  To ustawienie ma zastosowanie, gdy nowe pola są dodawane wewnątrz istniejącej zagnieżdżonej struktury w zadaniu umieszczania strumienia.

  • Zastosuj do celu

    Automatycznie dodaje nowe pola do istniejących struktur w zadaniu transformacji strumieniowej, jeśli zostaną dodane do struktury umieszczania.

  • Ignoruj

    Nie dodaje nowych pól do istniejących struktur.

  • Zatrzymaj zadanie

    Zatrzymuje zadanie transformacji, jeśli nowe pole zostanie dodane do struktury w zadaniu umieszczania strumieniowego.

• Zmień typ danych pola

  • Ignoruj

    Nie zmienia typu danych.

  • Zatrzymaj zadanie

    Zatrzymuje zadanie transformacji, jeśli wykryto zmianę typu danych w zadaniu umieszczania strumieniowego.