# Przechowywanie strumieniowych zestawów danych Następujące ustawienia zadania transformacji strumieniowej mają zastosowanie do projektów Otwarty lakehouse Qlik korzystających ze źródła strumieniowego. Możesz przechowywać i transformować dane strumieniowe za pomocą zadania transformacji danych strumieniowych. Dane strumieniowe często zawierają zagnieżdżone struktury i tablice, które wymagają spłaszczenia, a możliwości transformacji są potrzebne podczas fazy przechowywania. Te możliwości są dostępne dla zadania transformacji strumieniowej, umożliwiając zastosowanie transformacji natychmiast po umieszczeniu danych strumieniowych. ## Zarządzanie szczegółowością zestawu danych Możesz spłaszczać zagnieżdżone struktury i tablice, aby zwiększyć szczegółowość. Szczegółowość jest wyświetlana w widoku Zestaw danych. Kliknij the edytuj icon aby edytować szczegółowość: * Wybranie pola z tablicy spowoduje, że tabela docelowa będzie zawierać jeden wiersz na element. Spowoduje to zwiększenie liczby wierszy w obiekcie docelowym. * Należy wybrać pola z tej samej ścieżki tablicy. Wybranie pól z różnych ścieżek spowoduje błąd walidacji. * Wyświetlane typy danych odzwierciedlają wybraną szczegółowość. Na przykład ARRAY<INT> staje się INT po spłaszczeniu. Więcej informacji zawiera temat [Mapowania typów danych](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/onboarding-data-streaming.htm#Data). ## Usuwanie zadania Możesz usunąć zadanie danych, jeśli nie jest uruchomione i nie ma zależności od zadań podrzędnych w tym samym projekcie. * W widoku Projekt potoku projektu kliknij the Więcej icon na zadaniu i wybierz Usuń. Artefakty (tabele i widoki) utworzone przez zadanie również zostaną usunięte, chyba że zdecydujesz się je zachować. InformacjaPamiętaj, że zachowane artefakty nie będą już aktualizowane przez zadanie. ## Wyświetlanie informacji o zadaniu Kliknij the Informacje icon na pasku menu, aby wyświetlić informacje o zadaniu, takie jak: * Właściciel * Przestrzeń * Platforma danych * Identyfikator projektu * Identyfikator czasu wykonania zadania danych ## Ustawienia transformacji strumieniowej Możesz ustawić właściwości zadania transformacji danych strumieniowych, gdy platformą danych jest Otwarty lakehouse Qlik. * Kliknij opcję Ustawienia. ### Ustawienia ogólne * Schemat zadania Możesz zmienić nazwę schematu zadania transformacji strumieniowej. Domyślna nazwa to nazwa zadania pamięci masowej. * Schemat wewnętrzny Możesz zmienić nazwę schematu zasobu danych wewnętrznej pamięci masowej. Domyślną nazwą jest nazwa zadania pamięci masowej z dodatkiem \_internal. * Sufiks dla wszystkich tabel i widoków Możesz ustawić prefiks dla wszystkich tabel i widoków utworzonych za pomocą tego zadania. InformacjaJeśli chcesz użyć schematu bazy danych w kilku zadaniach danych, musisz użyć unikatowego prefiksu. * Folder do użycia Możesz zmienić folder przechowywania zadania transformacji strumieniowej. * Załaduj ustawienia nowych zestawów danych * Tylko dołączanie Dodaje nowe rekordy bez modyfikowania istniejących danych. Ograniczenia klucza nie są wymuszane, jeśli pojawią się zduplikowane rekordy. * Zastosuj zmiany Aktualizuje istniejące rekordy i wstawia nowe rekordy na podstawie pól kluczowych. Jeśli wybierzesz scalanie zmian, możesz również wybrać następujące opcje: * Usuwanie logiczne rekordów poprzez podanie wyrażenia usuwania Zdefiniuj wyrażenie usuwania, aby oznaczyć rekordy do usunięcia. * Zachowaj historyczne rekordy (Typ 2) Zachowaj poprzednie wersje zmienionych rekordów. * Anulowanie zagnieżdżenia kolumn * Zachowaj zagnieżdżone kolumny Wybierz, aby zachować zagnieżdżone dane. * Rozwiń do oddzielnych kolumn Domyślne zachowanie polega na rozgrupowaniu danych na osobne kolumny. * Partycja tabel docelowych InformacjaTa opcja jest dostępna tylko, gdy w Ustawieniach ładowania wybrano Tylko dołączanie. * Brak partycji Nowe tabele są tworzone bez partycji. * Partycjonowanie według daty zdarzenia Nowe tabele są partycjonowane według daty pozyskania zdarzeń. * Sposób obsługi zmiany danych InformacjaTa opcja jest dostępna tylko wtedy, gdy Zastosuj zmiany jest wybrane w Ustawieniach ładowania. * Uwzględnij nietrwałe usunięcia: Wprowadź wyrażenie, aby zdefiniować, które rekordy mają zostać oznaczone do usunięcia. * Utwórz historyczny magazyn danych (Typ 2): Spowoduje to zachowanie poprzednich wersji zmienionych rekordów. * Zarządzanie przechowywaniem * Bez pomijania partycji * Pomijanie partycji bieżącej migawki ### Definicje tabel * hdr\_\_from\_timestamp Gdy ta opcja jest włączona, kolumna nagłówka hdr\_\_from\_timestamp pojawi się w widokach standardowych. Ponadto, gdy w kreatorze wdrażania zostanie wybrana opcja Partycjonuj według daty pozyskania zdarzenia, hdr\_\_from\_timestamp zostanie użyta jako domyślna kolumna partycji. InformacjaWidoki historii zawsze uwzględniają wszystkie kolumny nagłówka widoku standardowego, niezależnie od tego ustawienia. ### Ustawienia czasu działania * Klaster lakehouse Możesz zmienić klaster lakehouse, ale musi on obsługiwać obciążenia strumieniowe lub mieszane. ### Ustawienia ewolucji schematu * Dodaj nowe zestawy danych To ustawienie ma zastosowanie, gdy nowe zestawy danych są dodawane do strumieniowego zadania umieszczania. InformacjaObsługiwane tylko podczas przesyłania strumieniowego odczytów umieszczania z Kafki. * Zastosuj do celu Automatycznie dodaje nowe zestawy danych ze strumieniowego zadania umieszczania do zadania transformacji strumieniowej. Jest to ustawienie domyślne. * Ignoruj Nie dodaje nowych zestawów danych. * Dodaj kolumny na poziomie głównym To ustawienie ma zastosowanie, gdy nowe kolumny są dodawane do strumieniowego zadania umieszczania na poziomie głównym. * Zastosuj do celu Automatycznie dodaje nowe kolumny na poziomie głównym ze strumieniowego zadania umieszczania do zadania transformacji strumieniowej. Jest to ustawienie domyślne. * Ignoruj Nie dodaje nowych kolumn na poziomie głównym. * Zatrzymaj zadanie Zatrzymuje zadanie transformacji, jeśli nowa kolumna na poziomie głównym zostanie wykryta w zadaniu umieszczania strumienia. * Dodaj kolumny do struktur To ustawienie ma zastosowanie, gdy nowe pola są dodawane wewnątrz istniejącej zagnieżdżonej struktury w zadaniu umieszczania strumienia. * Zastosuj do celu Automatycznie dodaje nowe pola do istniejących struktur w zadaniu transformacji strumieniowej, jeśli zostaną dodane do struktury umieszczania. * Ignoruj Nie dodaje nowych pól do istniejących struktur. * Zatrzymaj zadanie Zatrzymuje zadanie transformacji, jeśli nowe pole zostanie dodane do struktury w zadaniu umieszczania strumieniowego. * Zmień typ danych pola * Ignoruj Nie zmienia typu danych. * Zatrzymaj zadanie Zatrzymuje zadanie transformacji, jeśli wykryto zmianę typu danych w zadaniu umieszczania strumieniowego. ## Ustawienia zestawu danych Następujące ustawienia są dostępne dla wszystkich zestawów danych w widoku Projektu > Zestawach danych. Kliknij the więcej icon obok zestawu danych i wybierz Ustawienia. * Sposób obsługi ładowania danych Wybiera sposób ładowania danych do tabeli docelowej. * Tylko dołączanie Dodaje nowe rekordy bez modyfikowania istniejących danych. Ograniczenia klucza nie są wymuszane, jeśli pojawią się zduplikowane rekordy. * Zastosuj zmiany Aktualizuje istniejące rekordy i wstawia nowe rekordy na podstawie pól kluczowych. * Sposób obsługi zmiany danych InformacjaTa opcja jest dostępna tylko wtedy, gdy Zastosuj zmiany jest wybrane w Ustawieniach ładowania. * Uwzględnij miękkie usunięcia: Wprowadź wyrażenie, aby zdefiniować, które rekordy mają zostać oznaczone do usunięcia. Powinno to być wyrażenie, którego wynikiem jest Prawda, jeśli zmiana polega na usunięciu nietrwałym. Przykład: operation = 'D' * Utwórz historyczny magazyn danych (Typ 2): Spowoduje to zachowanie poprzednich wersji zmienionych rekordów. * Kolumny do partycjonowania InformacjaTa opcja jest dostępna tylko, gdy w Ustawieniach ładowania wybrano Tylko dołączanie. Opcjonalnie możesz wybrać kolumny partycji, aby zoptymalizować wydajność. Kliknij Dodaj kolumnę, aby dodać kolumnę partycji, następnie wybierz Przekształcenie i ustaw Parametr, jeśli jest to wymagane. * Zarządzanie przechowywaniem Przycinanie partycji usuwa partycje, które są starsze niż okres przechowywania. Nie powoduje to fizycznego usunięcia danych i nie wpływa natychmiast na starsze migawki. Starsze dane mogą być dostępne w starszych migawkach, dopóki nie wygasną. InformacjaPojawia się tylko, jeśli partycja ma co najmniej jedną kolumnę daty lub daty i godziny. * Bez pomijania partycji * Pomijanie partycji bieżącej migawki * Kolumny sortowania InformacjaTa opcja jest dostępna tylko, gdy w Ustawieniach ładowania wybrano Tylko dołączanie. Opcjonalnie możesz określić kolumny, według których dane będą sortowane w każdym pliku tabeli Iceberg. Podczas pobierania danych Iceberg używa tych kolumn do porządkowania rekordów. Definiowanie kluczy sortowania na kolumnach często używanych w zapytaniach poprawia lokalność danych, co skutkuje szybszą wydajnością odczytu i bardziej efektywną kompresją. Prawidłowo skonfigurowane klucze sortowania zapewniają optymalną organizację danych w celu zwiększenia wydajności zapytań. Kliknij Dodaj kolumnę, aby dodać kolumnę sortowania, a następnie ustaw kolejność sortowania. * Czas wygaśnięcia migawki To ustawienie kontroluje, jak długo przechowywane są migawki, co ma znaczący wpływ na rozmiar tabeli i koszty przechowywania. W przypadku często aktualizowanych tabel zaleca się stosowanie krótszych okresów, aby obniżyć koszty przechowywania. InformacjaWprowadź 0, aby wyłączyć wygasanie migawki. * Nagłówki widoków standardowych * Dziedzicz z ustawień zadania danych Jest to domyślne. Wyłącz, jeśli chcesz ustawić konkretne kolumny nagłówkowe tylko dla tego zbioru danych. * hdr\_\_from\_timestamp Gdy ta opcja jest włączona, kolumna nagłówka hdr\_\_from\_timestamp pojawi się w widokach standardowych. Ponadto, gdy w kreatorze wdrażania zostanie wybrana opcja Partycjonuj według daty pozyskania zdarzenia, hdr\_\_from\_timestamp zostanie użyta jako domyślna kolumna partycji. InformacjaWidoki historii zawsze uwzględniają wszystkie kolumny nagłówka widoku standardowego, niezależnie od tego ustawienia.