AWS Kinesis Data Stream

Verbinden Sie sich mit Ihrem Amazon Kinesis-Dienst, um ihn als Datenquelle in Ihren Qlik Open Lakehouse Projekten zu verwenden. Kinesis-Verbindungen können nur mit der Streaming-Bereitstellungsaufgabe und der Streaming-Umwandlungsaufgabe verwendet werden.

Ein AWS Kinesis Data Stream ist ein vollständig verwalteter Dienst zum kontinuierlichen Erfassen und Verarbeiten von Echtzeit-Datenströmen. In einem Qlik Open Lakehouse Projekt kann ein Kinesis-Stream als Streaming-Datenquelle verwendet werden, um Ereignisse und Datensätze in hoher Geschwindigkeit in Apache Iceberg-Tabellen aufzunehmen. Aus dem Stream gelesene Daten werden durch die Streaming-Bereitstellungs- und Streaming-Umwandlungsaufgaben verarbeitet, was die Aufnahme, Umwandlung und Speicherung von Streaming-Daten nahezu in Echtzeit in einem offenen, abfragbaren Tabellenformat ermöglicht, das für nachgelagerte Analysen und Nutzung geeignet ist. Streams können mithilfe einer Umwandlungsaufgabe in mehrere Datensätze aufgeteilt werden.

Voraussetzungen

Um eine Verbindung zu Ihrem Amazon Kinesis-Dienst herzustellen, benötigen Sie Folgendes:

• Wenn Sie eine rollenbasierte Authentifizierung für den Zugriff auf den Bucket verwenden, benötigen Sie:

  • Berechtigung zum Zugriff auf die Netzwerkintegration, die Sie für die Verbindung verwenden möchten.

  • Die ARN-Rolle, oder Sie können eine während des Einrichtungsprozesses erstellen.

• Wenn Sie eine schlüsselbasierte Authentifizierung für den Zugriff auf den Bucket verwenden, benötigen Sie:

  • Ihre AWS-Zugriffsschlüssel-ID.

  • Ihren geheimen AWS-Zugriffsschlüssel.

Festlegen von Kinesis-Verbindungseigenschaften

Gehen Sie wie folgt vor, um die Kinesis-Verbindung zu konfigurieren:

1. Klicken Sie in Verbindungen auf Verbindung erstellen.

2. Wählen Sie den Bereich aus, in dem Sie die Verbindung erstellen möchten, oder wählen Sie Neuen Datenbereich erstellen aus.

3. Wählen Sie Kinesis aus der Konnektor-Namensliste aus oder verwenden Sie das Feld Suchen. Stellen Sie sicher, dass der Typ Quelle und die Kategorie Streaming ist.

4. Wählen Sie die Region aus, in der Ihr Kinesis-Dienst gehostet wird.

5. Unter Authentifizierungstyp wählen Sie aus, wie Sie eine Verbindung herstellen möchten, und konfigurieren Sie die Einstellungen.

Rollenbasiert

Führen Sie die folgenden Schritte aus, um die rollenbasierte Authentifizierung zu verwenden.

ARN-Rolle erstellen

• Wählen Sie die Netzwerkintegration für Ihre Verbindung.

• Geben Sie Ihre ARN-Rolle ein, wenn Sie sie bereits haben.

AWS-Rolle erstellen

Befolgen Sie die Schritte, um eine AWS-Rolle zu erstellen:

1. Rolle erstellen

   • Gehen Sie in der AWS Console zu IAM.

   • Klicken Sie unter Roles auf Create role und konfigurieren Sie die Rolle:

   • Trusted entity type: Wählen Sie Custom trust policy aus.

   • Anweisung: Kopieren Sie die in AWS-Rolle erstellen in Qlik Cloud erstellte Vertrauenswürdige Entität-Richtlinie in den Codebereich in AWS.

   • Erstellen Sie die Rolle.

2. Inline-Richtlinie erstellen

   • Klicken Sie in der AWS-Konsole unter Rollen auf die Rolle, die Sie in Schritt 1 erstellt haben.

   • Klicken Sie in Berechtigungsrichtlinien auf Richtlinien hinzufügen > Inline-Richtlinie erstellen.

   • Kopieren Sie den Code in Qlik Cloud und fügen Sie ihn in die Richtlinie in AWS ein.

     InformationshinweisDer Code gewährt der Kinesis-Verbindung Zugriff auf alle Kinesis-Streams über alle AWS-Konten hinweg in der ausgewählten Region.

3. ARN-Rolle kopieren

   • Suchen Sie auf der Seite Rollen in der AWS-Konsole den ARN-Wert im Abschnitt Zusammenfassung.

   • Kopieren Sie den ARN und fügen Sie ihn in ARN-Rolle in Qlik Cloud ein.

Zugriffsschlüssel

Führen Sie die folgenden Schritte aus, um einen Zugriffsschlüssel zur Authentifizierung Ihrer Verbindung zu verwenden:

• Zugriffsschlüssel: Geben Sie Ihre eindeutige AWS-Zugriffsschlüssel-ID ein, die Sie für die Authentifizierung verwenden möchten.

• Geheimer Schlüssel: Geben Sie Ihren geheimen AWS-Zugriffsschlüssel ein, den Sie zusammen mit Ihrem Zugangsschlüssel verwenden.

1. Richtlinie erstellen

   • Gehen Sie in der AWS Console zu IAM.

   • Navigieren Sie zu Richtlinien > Richtlinie erstellen.

   • Kopieren Sie in Qlik Cloud im Dialogfeld AWS-Rolle erstellen die Richtlinie.

   • Fügen Sie in AWS im Richtlinien-Editor die Richtlinie ein.

     InformationshinweisDer Code gewährt der Kinesis-Verbindung Zugriff auf alle Kinesis-Streams über alle AWS-Konten hinweg in der ausgewählten Region.

2. Neue Richtlinie an einen Benutzer anfügen

   • Hängen Sie die neue Richtlinie an den Benutzer an, dem Sie Zugriff gewähren möchten.

Verbindung erstellen

Wenn Sie die Sicherheitsmethode konfiguriert haben, führen Sie die folgenden Schritte aus, um die Verbindung zu erstellen:

• Geben Sie in Name den Anzeigenamen für die Verbindung ein, zum Beispiel My Kinesis Streaming Source connection.

• Klicken Sie auf Verbindung testen, um die Anmeldeinformationen zu überprüfen.

• Klicken Sie auf Erstellen.