Apache Kafka-gegevensstroom

Maak verbinding met uw Apache Kafka-cluster om te gebruiken als een streaming-gegevensbron in uw Qlik Open Lakehouse projecten. Kafka-verbindingen kunnen alleen worden gebruikt met de Streaming-tussenopslagtaak en Streaming-transformatie-taak.

Qlik Open Lakehouse stelt organisaties in staat om real-time, analyseklare pijplijnen te bouwen op een open en schaalbare architectuur. Door Apache Kafka te integreren als een streaming-bron, ondersteunt Qlik continue opname van grote hoeveelheden gebeurtenisgegevens in Apache Iceberg-tabellen. Deze combinatie levert gegevensbeschikbaarheid met lage latentie en robuuste schema-evolutie, waardoor teams realtime inzichten kunnen operationaliseren en downstream-transformaties kunnen versnellen.

Streaming tussenopslagstaken en Streaming transformatietaken maken het mogelijk dat Kafka-onderwerpen centrale componenten zijn van uw Qlik Open Lakehouse projecten. Naarmate gegevens in Iceberg streamen, zijn ze snel toegankelijk voor analyses, AI en machine learning-workloads, ter ondersteuning van tijdgevoelige besluitvorming en schaalbare data-engineeringpraktijken. Het resultaat is een uniforme, query-geoptimaliseerde gegevenslaag die de betrouwbaarheid en prestaties van uw streaming-architecturen versterkt. Om gegevens van Kafka te analyseren met behulp van de query-engine van uw clouddatawarehouse, landt en slaat u de gegevens op in een Qlik Open Lakehouse en spiegelt u de gegevens naar uw warehouse met behulp van een Spiegelgegevenstaak.

Vereisten

De volgende vereisten zijn van toepassing bij het maken en gebruiken van een Kafka-streamingsource:

Een netwerkintegratie die netwerkconnectiviteit heeft met de brokerservers.
Zorg ervoor dat het Kafka-cluster waarmee u verbinding wilt maken, toegankelijk is vanuit de VPC waar het Lakehouse-cluster dat de tussenopslagtaak uitvoert, zich bevindt.
Een Kafka-streamingsourceverbinding vereist een Qlik Open Lakehouse doelplatform.

Kafka-verbindingseigenschappen instellen

Om uw Kafka-verbinding te configureren, doet u het volgende:

Klik in Verbindingen op Verbinding maken.
Selecteer de Space waar u de verbinding wilt maken of kies Create new data space.
Selecteer Kafka uit de Connector-naamlijst of gebruik het Zoeken-vak. Zorg ervoor dat het Type Bron is en de Categorie Streaming is.
Configureer de volgende eigenschappen:

Gegevensbron

Stel de verbindingseigenschappen van uw gegevensbron als volgt in:

Selecteer uw Netwerkintegratie uit de lijst.
Voer in Broker-servers één host in met de indeling hostname:port, bijvoorbeeld host1:9092.

Als u een lijst met hosts wilt invoeren, gebruikt u de indeling: hostname:port, hostname:port, bijvoorbeeld host1:9092,host2:9092.

Verificatiegegevens

Selecteer uw verificatiemethode uit de lijst:
- SASL/SCRAM-SHA-512: Deze optie verifieert met een gebruikersnaam en wachtwoord met behulp van het SCRAM-SHA-512-mechanisme. Dit is de meest veilige SCRAM-variant en vereist dat overeenkomende SCRAM-SHA-512-referenties zijn geconfigureerd in het Kafka-cluster.

Neem contact op met de ondersteuning van Qlik als u een alternatieve verificatiemethode wilt gebruiken die niet in de lijst staat.

SASL/SCRAM-SHA-256

Voer de Gebruikersnaam en Wachtwoord in voor uw verbinding.

TLS

Optioneel kunt u een Certificate Authority (CA) toevoegen.

Om een CA toe te voegen, selecteert u Aangepaste vertrouwde CA gebruiken.
Voer in CA-pad het pad in van het CA-bestand dat u wilt uploaden naar Qlik Cloud. Het CA-bestand is beschikbaar voor de clusters die de taken uitvoeren.

Aanvullende Kafka-eigenschappen

Aanvullende Kafka-eigenschappen zijn optioneel.

Voeg een sleutel en waarde toe voor alle tags die u wilt toevoegen en die u helpen bij het identificeren, organiseren en beheren van resources.

Schemaregisterverbinding

De schemaregisterserver is optioneel.

Om verbinding te maken met een schemaregister, klikt u op Schemaregisterserver instellen en configureert u de instellingen:

URI van schemaregister: Voer de URI in de indeling in, http://schema-registry1.example.com:8081;http://schema-registry2.example.com:8081.
Gebruikersnaam: Voer de gebruikersnaam in voor de serververbinding.
Wachtwoord: Voer het wachtwoord in voor de serververbinding.

Schemaregisterverbinding TLS

Als u ervoor kiest een schemaregisterserver te configureren, hebt u de optie om een certificeringsinstantie (CA) toe te voegen.

Om een CA toe te voegen, selecteert u Aangepaste vertrouwde CA gebruiken.
Voer in CA-pad het pad in van het CA-bestand dat u wilt uploaden naar Qlik Cloud. Het CA-bestand is beschikbaar voor de clusters die de taken uitvoeren.

Verbinding maken

Wanneer u uw beveiligingsmethode hebt geconfigureerd, voert u de volgende stappen uit om uw verbinding te maken:

Voer in Naam de weergavenaam voor de verbinding in, bijvoorbeeld My Kafka Streaming Source connection.
Klik op Verbinding testen om de referenties te valideren.
Klik op Maken.

Onderwerpen toewijzen aan gegevensverzamelingen

De volgende gebruiksscenario's worden ondersteund bij het opnemen vanuit een Kafka-bron:

Onderwerp	Doelgegevensverzameling	Gebruikscase	Toewijzingen
Eén	Eén	Elk onderwerp wordt geladen naar een doeldataset.	Ondersteund in de toewijzing van datasets van de Streaming-tussenopslagtaak.
Eén	Veel	Een onderwerp dupliceren naar meerdere datasets.	Ondersteund door Toevoegen aan doel meerdere keren te gebruiken.
Eén	Veel	Splits een gebeurtenis naar meerdere doelen. Een gebeurtenis bevat bijvoorbeeld orders en order lines die worden gesplitst in meerdere datasets.	Ondersteund in de Streaming Transform-taak. Dupliceer een dataset en selecteer verschillende velden in elke dataset; of gebruik de Fork-processor en Select columns-processor binnen de transformatiestroom.
Eén	Veel	Splits een onderwerp in meerdere datasets op basis van specifieke kolomwaarden.	Ondersteund in de Streaming Transform-taak. Configureer een filterprocessor voor elke kolomwaarde die wordt gebruikt om het onderwerp in verschillende datasets te splitsen. Om niet-overeenkomende records te verwerken, configureert u een extra filterprocessor die niet-overeenkomende gegevens naar een afzonderlijke dataset uitvoert.
Veel	Eén	Neem alle onderwerpen op die voldoen aan specifieke criteria in dezelfde doeldataset, of specifieke onderwerpen in dezelfde dataset.	Ondersteund in de datasettoewijzing van de Streaming tussenopslagtaak. Als meerdere onderwerpen in één dataset worden geladen en een van de taak voor het laden van onderwerpen mislukt, dan treedt er een fout op in de dataset en wordt het laden van andere onderwerpen stopgezet.

Was deze pagina nuttig?

Als u problemen ervaart op deze pagina of de inhoud onjuist is – een tikfout, een ontbrekende stap of een technische fout – laat het ons weten!

Geef hier uw feedback