Łączenie ze strumieniami danych

Następujące usługi strumieniowe są obsługiwane w projektach Qlik Open Lakehouse. Dane zdarzeń są stale pozyskiwane, aby zapewnić dostępność niemal w czasie rzeczywistym dla dalszej integracji danych, analiz i sztucznej inteligencji, umożliwiając potoki o niskim opóźnieniu, które odzwierciedlają najbardziej aktualną aktywność operacyjną.

Usługi strumieniowe, takie jak Apache Kafka i Amazon Kinesis, zapewniają trwałe potoki o wysokiej przepustowości do przechwytywania zdarzeń operacyjnych w miarę ich występowania. W przeciwieństwie do źródeł opartych na plikach, które opierają się na pozyskiwaniu wsadowym, źródła strumieniowe dostarczają dane w sposób ciągły w miarę generowania zdarzeń, umożliwiając przetwarzanie niemal w czasie rzeczywistym bez czekania na wygenerowanie lub zaplanowanie plików. Producenci publikują ustrukturyzowane lub częściowo ustrukturyzowane komunikaty, które zachowują swój schemat i obsługują partycjonowanie. Wszystkie aktualizacje i usunięcia dla tego samego rekordu muszą używać tego samego klucza partycji. Kafka i Kinesis gwarantują kolejność tylko w ramach pojedynczej partycji lub fragmentu, a nie w całym temacie lub strumieniu, więc użycie spójnego klucza partycji zapewnia, że zmiany dla danego rekordu są przetwarzane w prawidłowej kolejności. Qlik obsługuje również Amazon S3 jako źródło strumieniowe do ciągłego pozyskiwania danych zdarzeń.

Pozyskiwanie strumieniowe a pozyskiwanie wsadowe

Różnica między strumieniowymi i wsadowymi źródłami danych jest następująca:

• W przypadku obu źródeł zdarzenia są efektywnie pozyskiwane co minutę, co wspiera przetwarzanie z niskim opóźnieniem i analizy niemal w czasie rzeczywistym.

• W przypadku źródeł niestrumieniowych najpierw następuje pełne ładowanie istniejących danych, a następnie pozyskiwane są zmiany. Możesz również ponownie załadować dane pełnego ładowania ze źródła.

• W przypadku źródeł strumieniowych nie ma wyraźnego rozróżnienia między początkowym ładowaniem a późniejszymi zdarzeniami. Qlik może zarządzać przechowywaniem i obsługuje również partycje.

W projekcie Qlik Open Lakehouse źródła strumieniowe mogą być używane tylko z zadaniem umieszczania strumieniowego i zadaniem transformacji strumieniowej:

• Dane strumieniowe są pozyskiwane za pomocą zadania umieszczania strumieniowego i zamiast przetwarzać dyskretne pliki, zadanie umieszczania strumieniowego odczytuje zdarzenia w miarę ich napływania, umieszcza dane w Amazon S3 i utrwala zdarzenia jako pliki Avro. Takie podejście zachowuje ewolucję schematu, obsługuje złożone typy danych, takie jak struktury, i zapewnia wydajne przechowywanie z zoptymalizowaną wydajnością zapytań, jednocześnie utrzymując ciągły model pozyskiwania.

• Podczas dołączania danych ze źródła strumieniowego, zadanie transformacji strumieniowej jest automatycznie dodawane dla każdego zestawu danych, który będzie przechowywany w formacie Iceberg. Opcjonalnie, zadanie transformacji strumieniowej może być używane do standaryzacji struktur, wzbogacania ładunków zdarzeń lub dopasowywania danych do modeli konsumpcji w dalszych etapach.

• Zadanie dublowania danych umożliwia dublowanie zestawów danych ze źródeł strumieniowych do hurtowni danych w chmurze, pozwalając systemom w dalszych etapach konsumować zdarzenia strumieniowe bez duplikowania danych.Więcej informacji można znaleźć w temacie Mirroring danych do hurtowni danych w chmurze.

Mapowania typów danych

Początkowy schemat źródłowy jest oparty na próbce danych pobranej przed fazą PREPARE podczas tworzenia projektu potoku, a ewolucja schematu jest obsługiwana w czasie odczytu. Zadania dublowania i inne zadania w dalszych etapach, które nie obsługują STRUCT i ARRAY, używają typu JSON. Dane można analizować za pomocą SQL.

Następujące mapowania typów danych mają zastosowanie do wszystkich obsługiwanych źródeł danych, ale różnią się w zależności od typu pliku źródłowego, i należy zwrócić uwagę na poniższe:

• Typy danych są wnioskowane na podstawie próbki wprowadzanych danych. Na przykład, jeśli pole zawiera tylko wartości całkowite w próbce, jest ono tworzone jako INT8 w zadaniach umieszczania i transformacji strumieniowej. Jeśli kolejne dane zawierają wartości ułamkowe podwójnej precyzji, pliki umieszczania zawierają te wartości; jednakże w zadaniu transformacji strumieniowej, jeśli ustawienie Zmień typ danych pola jest ustawione na Ignoruj, kolumna pozostaje INT8, a wartości ułamkowe są obcinane. Aby uniknąć niezamierzonego obcięcia, upewnij się, że dane przykładowe zawierają pełny zakres oczekiwanych wartości przed wdrożeniem, lub skonfiguruj Zmień typ danych pola na Zatrzymaj zadanie we wczesnych etapach i dostosuj typy danych w razie potrzeby.

• Jeśli pole zostanie dodane do struktury w źródle, zawsze jest ono dodawane do miejsca docelowego. W przypadku transformacji strumieniowej zachowanie jest stosowane zgodnie z opcją wybraną w Ustawienia zadania transformacji strumieniowej > Ewolucja schematu > Dodaj pola do struktury (Zastosuj do obiektu docelowego, Ignoruj, Zatrzymaj zadanie).

• Jeśli brakuje pola w konkretnym rekordzie lub tablica jest pusta, są one traktowane jako null.

• Jeśli zestaw danych jest spłaszczony przez tablicę, a rekord przychodzi, w którym ta tablica jest pusta lub ma wartość null, system tworzy jeden wiersz, a spłaszczone pole ma wartość null. Nie jest wykluczona automatycznie. Jeśli chcesz wykluczyć te wiersze, ręcznie dodaj filtr, na przykład array_element IS NOT NULL.

• Typy danych wyświetlane w interfejsie użytkownika odzwierciedlają szczegółowość wybranego zestawu danych. W przypadku tablic spłaszczonych wyświetlany jest typ danych pojedynczego elementu, a nie sama struktura tablicy.

• Nowego atrybutu nie można dodać wewnątrz struktury w zagnieżdżonym polu JSON, tylko na poziomie głównym.

• W zadaniach transformacji strumieniowej spłaszczanie jest obsługiwane tylko dla pojedynczego poziomu tablicy. Gdy spłaszczanie jest stosowane do tablicy wielopoziomowej, na przykład ARRAY<ARRAY<STRUCT>>, spłaszczana jest tylko zewnętrzna tablica, co skutkuje ARRAY<STRUCT> zamiast w pełni spłaszczonej struktury STRUCT. Ponadto bieżący interfejs użytkownika umożliwia konfigurowanie spłaszczania tylko na poziomie kolumny. W rezultacie wybranie tablicy wielopoziomowej niejawnie stosuje spłaszczanie tylko do pierwszego poziomu tablicy.

JSON

W plikach JSON wartość liczbowa w źródle określa docelowy typ danych:

• INT8 jest używany dla wartości całkowitych, które mieszczą się w obsługiwanym zakresie liczb całkowitych i nie zawierają części ułamkowej.

• REAL8 (DOUBLE) jest używany, gdy wartość zawiera część ułamkową (liczbę zmiennoprzecinkową).

• STRING jest używany, gdy wartość liczbowa przekracza maksymalny obsługiwany zakres liczb całkowitych.

Typy danych są mapowane w następujący sposób:

CSV, TSV, REGEX i SPLIT

Domyślnie wszystkie typy danych źródłowych są importowane jako ciąg znaków. Użyj opcji Automatycznie wnioskuj typy, aby mapować typy źródłowe i docelowe w następujący sposób:

Parquet

Pliki Parquet obsługują fizyczne i logiczne typy danych. Fizyczne typy danych określają sposób przechowywania wartości na dysku, takie jak INT32, DOUBLE lub BYTE_ARRAY. Logiczne typy danych nadają znaczenie semantyczne fizycznej reprezentacji, na przykład identyfikując, czy wartość całkowita reprezentuje datę. Gdy typ logiczny jest dołączony do kolumny Parquet i jest obsługiwany w Qlik Open Lakehouse (jak wymieniono poniżej), zadanie umieszczania strumieniowego używa typu logicznego podczas definiowania schematu docelowego, a nie bazowego typu fizycznego. Zapewnia to poprawną interpretację danych, zachowuje zamierzoną semantykę, taką jak precyzja, skala i znaczenie czasowe, oraz skutkuje dokładniejszymi schematami, gdy dane są zapisywane w formatach strumieniowych.

Dane pochodzące z plików Parquet są mapowane w następujący sposób:

Avro

Poniższe mapowania mają zastosowanie do plików Avro z rejestrem schematów.

ORC

Poniższe mapowania mają zastosowanie do plików ORC.

Ograniczenia

Obowiązują następujące ograniczenia dla wszystkich źródeł danych:

• Jeśli pliki są różnych typów, co może się zdarzyć, gdy pochodzą z wielu źródeł lub wersji, zadanie transformacji utworzone przy użyciu pojedynczego pliku przykładowego (na przykład podczas wdrażania) nie uwzględnia automatycznie tych różnic.

• Jeśli zmienisz typy danych w zadaniu umieszczania, na przykład dlatego, że musisz zahaszować dane, upewnij się, że typy danych transformacji odpowiadają nowym typom danych.

Obsługiwane źródła