Apache Kafka-Datenstrom

Stellen Sie eine Verbindung zu Ihrem Apache Kafka-Cluster her, um ihn als Streaming-Datenquelle in Ihren Qlik Open Lakehouse Projekten zu verwenden. Kafka-Verbindungen können nur mit der Streaming-Bereitstellungsaufgabe und der Streaming-Umwandlungsaufgabe verwendet werden.

Qlik Open Lakehouse ermöglicht es Organisationen, analysebereite Pipelines in Echtzeit in einer offenen und skalierbaren Architektur zu erstellen. Durch die Integration von Apache Kafka als Streaming-Quelle unterstützt Qlik die kontinuierliche Erfassung von hochvolumigen Ereignisdaten in Apache Iceberg-Tabellen. Diese Kombination bietet Datenverfügbarkeit mit geringer Latenz und eine robuste Schemaentwicklung, wodurch Teams Echtzeit-Einblicke operationalisieren und nachgelagerte Umwandlungen beschleunigen können.

Streaming-Bereitstellungsaufgaben und Streaming-Umwandlungsaufgaben ermöglichen es, Kafka-Themen zu zentralen Komponenten Ihrer Qlik Open Lakehouse Projekte zu machen. Wenn Daten in Iceberg einströmen, sind sie schnell für Analysen, KI- und Machine-Learning-Arbeitslasten zugänglich, was zeitkritische Entscheidungen und skalierbare Data-Engineering-Praktiken unterstützt. Das Ergebnis ist eine vereinheitlichte, abfrageoptimierte Datenebene, die die Zuverlässigkeit und Leistung Ihrer Streaming-Architekturen stärkt. Um Daten aus Kafka mit der Abfrage-Engine Ihres Cloud Data Warehouse zu analysieren, können Sie die Daten bereitstellen und in einem Qlik Open Lakehouse speichern. Spiegeln Sie die Daten dann mit einer Spiegel-Datenaufgabe in Ihr Warehouse.

Voraussetzungen

Die folgenden Anforderungen gelten beim Erstellen und Verwenden einer Kafka-Streaming-Quelle:

• Eine Netzwerkintegration, die Netzwerkkonnektivität zu den Broker-Servern besitzt.

• Stellen Sie sicher, dass der Kafka-Cluster, mit dem Sie eine Verbindung herstellen möchten, von der VPC aus zugänglich ist, in der sich der Lakehouse-Cluster befindet, der die Bereitstellungsaufgabe ausführt.

• Eine Kafka-Streaming-Quellverbindung erfordert eine Qlik Open Lakehouse Zielplattform.

Festlegen der Kafka-Verbindungseigenschaften

Um die Kafka-Verbindung zu konfigurieren, gehen Sie wie folgt vor:

1. Klicken Sie in Verbindungen auf Verbindung erstellen.

2. Wählen Sie den Bereich aus, in dem Sie die Verbindung erstellen möchten, oder wählen Sie Neuen Datenbereich erstellen aus.

3. Wählen Sie Kafka aus der Konnektor-Namensliste aus oder verwenden Sie das Feld Suchen. Stellen Sie sicher, dass der Typ Quelle und die Kategorie Streaming ist.

4. Konfigurieren Sie die folgenden Eigenschaften:

Datenquelle

Legen Sie die Datenquellen-Verbindungseigenschaften wie folgt fest:

• Wählen Sie Ihre Netzwerkintegration aus der Liste aus.

• Geben Sie unter Broker-Server einen einzelnen Host im Format hostname:port ein, zum Beispiel host1:9092.

  Um eine Liste von Hosts einzugeben, verwenden Sie das Format hostname:port, hostname:port, zum Beispiel host1:9092,host2:9092.

Authentifizierungsdetails

• Wählen Sie die Authentifizierungsmethode in der Liste aus:

  • SASL/SCRAM-SHA-512: Diese Option nutzt Authentifizierung mit einem Benutzernamen und einem Kennwort unter Verwendung des SCRAM-SHA-512-Mechanismus. Dies ist die sicherste SCRAM-Variante und erfordert, dass passende SCRAM-SHA-512-Anmeldeinformationen im Kafka-Cluster konfiguriert sind.

:

SASL/SCRAM-SHA-256

Geben Sie den Benutzernamen und das Kennwort für Ihre Verbindung ein.

TLS

Optional können Sie eine Zertifizierungsstelle hinzufügen.

• Um eine Zertifizierungsstelle hinzuzufügen, wählen Sie Benutzerdefinierte vertrauenswürdige Zertifizierungsstelle verwenden aus.

• Geben Sie als Zertifizierungsstellenpfad den Pfad der Zertifizierungsstellendatei ein, die an Qlik Cloud hochgeladen werden soll. Die Zertifizierungsstellendatei steht den Clustern zur Verfügung, die die Aufgaben ausführen.

Zusätzliche Kafka-Eigenschaften

Zusätzliche Kafka-Eigenschaften sind optional.

Fügen Sie einen Schlüssel und einen Wert für alle Tags hinzu, die Sie zur Identifizierung, Organisation und Verwaltung von Ressourcen verwenden möchten.

Schemaregistrierungs-Verbindung

Der Schemaregistrierungs-Server ist optional.

Um eine Verbindung zu einer Schemaregistrierung herzustellen, klicken Sie auf Schemaregistrierungs-Server einrichten und konfigurieren Sie die Einstellungen:

• Schema-Registrierungs-URI: Geben Sie die URI im Format http://schema-registry1.example.com:8081;http://schema-registry2.example.com:8081 ein.

• Benutzername: Geben Sie den Benutzernamen für die Serververbindung ein.

• Kennwort: Geben Sie das Kennwort für die Serververbindung ein.

Schemaregistrierungs-Verbindungs-TLS

Wenn Sie einen Schemaregistrierungs-Server konfigurieren möchten, haben Sie die Möglichkeit, eine Zertifizierungsstelle hinzuzufügen.

• Um eine Zertifizierungsstelle hinzuzufügen, wählen Sie Benutzerdefinierte vertrauenswürdige Zertifizierungsstelle verwenden aus.

• Geben Sie als Zertifizierungsstellenpfad den Pfad der Zertifizierungsstellendatei ein, die an Qlik Cloud hochgeladen werden soll. Die Zertifizierungsstellendatei steht den Clustern zur Verfügung, die die Aufgaben ausführen.

Verbindung erstellen

Wenn Sie die Sicherheitsmethode konfiguriert haben, führen Sie die folgenden Schritte aus, um die Verbindung zu erstellen:

• Geben Sie in Name den Anzeigenamen für die Verbindung ein, zum Beispiel My Kafka Streaming Source connection.

• Klicken Sie auf Verbindung testen, um die Anmeldeinformationen zu überprüfen.

• Klicken Sie auf Erstellen.

Zuordnen von Themen zu Datensätzen

Die folgenden Anwendungsfälle werden beim Erfassen aus einer Kafka-Quelle unterstützt: