Strumień Kinesis
Utwórz strumień Amazon Kinesis, aby umożliwić Qlik przechwytywanie i propagowanie informacji o stanie instancji z klastrów lakehouse.
Strumień Kinesis to usługa strumieniowego przesyłania danych w czasie rzeczywistym, która umożliwia gromadzenie, przetwarzanie i analizowanie danych w miarę ich generowania. Został zaprojektowany do obsługi dużych ilości strumieni danych z niskimi opóźnieniami, dzięki czemu nadaje się do monitorowania w czasie rzeczywistym, analiz i przesyłania wiadomości między rozproszonymi komponentami.
We wdrożeniu Qlik Open Lakehouse strumień Kinesis jest używany do zbierania i udostępniania metryk stanu i wydajności, takich jak użycie procesora, zużycie pamięci i kontrole kondycji, dla każdej instancji w klastrze lakehouse.
Instancje w klastrze nie komunikują się ze sobą bezpośrednio. Zamiast tego sondują strumień Kinesis, aby uzyskać informacje o swoich rówieśnikach. Mechanizm ten pozwala instancjom koordynować rozproszone zadania, utrzymywać świadomość wzajemnego stanu i umożliwiać skalowalne, odporne na błędy wykonanie w całym klastrze.
Wymagania wstępne
Upewnij się, że utworzono VPC i podsieć oraz Strefy dostępności do hostowania Qlik Open Lakehouse.
Tworzenie strumienia Kinesis
Aby utworzyć strumień Kinesis, wykonaj następujące czynności:
-
W konsoli AWS przejdź do Amazon Kinesis.
-
W sekcji Strumienie danych kliknij przycisk Utwórz strumień danych i skonfiguruj go:
-
Nazwa strumienia danych: wprowadź nazwę strumienia.
-
Tryb pojemności: wybierz opcję Dostarczany.
-
Udostępnione odłamki: upewnij się, że ta wartość jest ustawiona na 1.
-
Kliknij przycisk Utwórz strumień danych i zanotuj nazwę strumienia.