AWS Kinesis Data Stream

Połącz się z usługą Amazon Kinesis, aby używać jej jako źródła danych w projektach Qlik Open Lakehouse. Połączenia Kinesis mogą być używane tylko z zadaniem umieszczania strumieniowego i zadaniem transformacji strumieniowej.

AWS Kinesis Data Stream to w pełni zarządzana usługa do ciągłego przechwytywania i przetwarzania strumieni danych w czasie rzeczywistym. W projekcie Qlik Open Lakehouse strumień Kinesis może być używany jako strumieniowe źródło danych do pozyskiwania zdarzeń i rekordów o dużej szybkości do tabel Apache Iceberg. Dane odczytane ze strumienia są przetwarzane za pośrednictwem zadań umieszczania strumieniowego i transformacji strumieniowej, umożliwiając pozyskiwanie, transformację i przechowywanie danych strumieniowych w czasie zbliżonym do rzeczywistego w otwartym formacie tabeli z możliwością wykonywania zapytań, odpowiednim do późniejszej analizy i wykorzystania. Strumienie można podzielić na wiele zestawów danych za pomocą zadania transformacji.

Wymagania wstępne

Aby utworzyć połączenie z usługą Amazon Kinesis, wymagane są następujące elementy:

• Jeśli używasz uwierzytelniania opartego na rolach, aby uzyskać dostęp do zasobnika, potrzebujesz:

  • Uprawnienia do uzyskania dostępu do integracji sieciowej, której chcesz użyć dla połączenia.

  • Rola ARN, lub można ją utworzyć podczas procesu konfiguracji.

• Jeśli używasz uwierzytelniania kluczem dostępu, aby uzyskać dostęp do zasobnika, potrzebujesz:

  • Twój identyfikator klucza dostępu AWS.

  • Twój tajny klucz dostępu AWS.

Ustawianie właściwości połączenia Kinesis

Aby skonfigurować połączenie Kinesis, wykonaj następujące czynności:

1. W obszarze Połączenia kliknij Utwórz połączenie.

2. Wybierz Przestrzeń, w której chcesz utworzyć połączenie, lub wybierz Utwórz nową przestrzeń danych.

3. Wybierz Kinesis z listy Nazwa łącznika lub użyj pola Wyszukaj. Upewnij się, że Typ to Źródło, a Kategoria to Przesyłanie strumieniowe.

4. Wybierz Region, w którym hostowana jest usługa Kinesis.

5. W Typ uwierzytelniania wybierz sposób połączenia i skonfiguruj ustawienia.

Oparte na rolach

Wykonaj następujące kroki, aby użyć uwierzytelniania opartego na rolach.

Utwórz rolę ARN

• Wybierz Integracja sieciowa dla swojego połączenia.

• Wprowadź swoją rolę ARN, jeśli już ją masz.

Utwórz rolę AWS

Wykonaj kroki, aby utworzyć rolę AWS:

1. Utwórz rolę

   • W Konsoli AWS, przejdź do IAM.

   • W sekcji Role kliknij przycisk Utwórz rolę i skonfiguruj ją:

   • Typ zaufanego podmiotu: wybierz opcję Niestandardowa zasada zaufania.

   • Instrukcja: Skopiuj zasady zaufanej jednostki utworzone w Utwórz rolę AWS w Qlik Cloud do okienka kodu w AWS.

   • Utwórz rolę.

2. Utwórz zasadę wbudowaną

   • W konsoli AWS, w Rolach, kliknij rolę utworzoną w kroku 1.

   • W Zasady uprawnień kliknij Dodaj uprawnienia > Utwórz wbudowaną zasadę.

   • Skopiuj kod z Qlik Cloud i wklej go do zasad w AWS.

     InformacjaKod przyznaje połączeniu Kinesis dostęp do wszystkich strumieni Kinesis we wszystkich kontach AWS w wybranym regionie.

3. Kopiuj rolę ARN

   • Na stronie Role w konsoli AWS znajdź wartość ARN w sekcji Podsumowanie.

   • Skopiuj ARN i wklej ją w Rola ARN w Qlik Cloud.

Klucz dostępu

Wykonaj poniższe kroki, aby użyć klucza dostępu do uwierzytelnienia połączenia:

• Klucz dostępu: Wprowadź swój unikalny identyfikator klucza dostępu AWS, aby użyć go do uwierzytelnienia.

• Klucz tajny: Wprowadź swój tajny klucz dostępu AWS, aby użyć go z kluczem dostępu.

1. Utwórz zasadę

   • W Konsoli AWS, przejdź do IAM.

   • Przejdź do Polityki> Utwórz politykę.

   • W Qlik Cloud, w oknie dialogowym Utwórz rolę AWS, skopiuj politykę.

   • W AWS, w edytorze polityk, wklej politykę.

     InformacjaKod przyznaje połączeniu Kinesis dostęp do wszystkich strumieni Kinesis we wszystkich kontach AWS w wybranym regionie.

2. Dołącz nową politykę do użytkownika

   • Dołącz nową politykę do użytkownika, któremu chcesz zapewnić dostęp.

Utwórz połączenie

Po skonfigurowaniu metody zabezpieczeń wykonaj następujące kroki, aby utworzyć połączenie:

• W Nazwa wprowadź nazwę wyświetlaną dla połączenia, na przykład My Kinesis Streaming Source connection.

• Kliknij Testuj połączenie, aby zweryfikować poświadczenia.

• Kliknij Utwórz.