Apache Kafka Dataström

Anslut till ditt Apache Kafka-kluster för att använda som en strömmande datakälla i dina Qlik Open Lakehouse projekt. Kafka-kopplingar kan endast användas med strömmande mellanlagringsuppgifter och strömmande transformeringsuppgifter.

Qlik Open Lakehouse gör det möjligt för organisationer att bygga realtids- och analysfärdiga pipelines på en öppen och skalbar arkitektur. Genom att integrera Apache Kafka som en strömmande källa stöder Qlik kontinuerlig inmatning av stora volymer händelsedata i Apache Iceberg-tabeller. Denna kombination ger datatillgänglighet med låg latens och robust schemautveckling, vilket gör att team kan operationalisera insikter i realtid och påskynda nedströms transformationer.

Strömmande mellanlagringsuppgifter och strömmande transformeringsuppgifter gör att Kafka-ämnen kan vara centrala komponenter i dina Qlik Open Lakehouse projekt. När data strömmar in i Iceberg är det snabbt tillgängligt för analys, AI och maskininlärningsarbetsbelastningar, vilket stöder tidskänsligt beslutsfattande och skalbara datatekniska metoder. Resultatet är ett enhetligt, frågeoptimerat dataskikt som stärker tillförlitligheten och prestandan hos dina strömmande arkitekturer. För att analysera data från Kafka med hjälp av din molndatalagers frågemotor, mellanlagra och lagra data i en Qlik Open Lakehouse och spegla data till ditt lager med hjälp av en speglingsdatauppgift.

Förutsättningar

Följande krav gäller när du skapar och använder en Kafka-strömkälla:

• En nätverksintegration som har nätverksanslutning till mäklarservern.

• Se till att Kafka-klustret du vill ansluta till är tillgängligt från den VPC där Lakehouse-klustret som kommer att köra mellanlagringsuppgiften finns.

• En Kafka-strömkoppling kräver en Qlik Open Lakehouse målplattform.

Ställa in Kafka-kopplingsegenskaper

Gör så här för att konfigurera din Kafka-koppling:

1. I Kopplingar klickar du på Skapa koppling.

2. Välj Utrymme där du vill skapa kopplingen eller välj Skapa nytt datautrymme.

3. Välj Kafka från listan med kopplingsnamn eller använd sökrutan. Se till att Typ är Källa och att Kategori är Strömning.

4. Konfigurera följande egenskaper:

Datakälla

Ställ in datakällans anslutningsegenskaper på följande sätt:

• Välj din nätverksintegration från listan.

• I Broker-servrar anger du en enskild värd med formatet hostname:port, till exempel host1:9092.

  Om du vill ange en lista med värdar använder du formatet: hostname:port, hostname:port, till exempel host1:9092,host2:9092.

Autentiseringsinformation

• Välj din autentiseringsmetod från listan:

  • SASL/SCRAM-SHA-512: Det här alternativet autentiserar med ett användarnamn och lösenord med hjälp av SCRAM-SHA-512-mekanismen. Detta är den säkraste SCRAM-varianten och kräver att matchande SCRAM-SHA-512-autentiseringsuppgifter konfigureras i Kafka-klustret.

:

SASL/SCRAM-SHA-256

Ange Användarnamn och Lösenord för din koppling.

TLS

Du kan också lägga till en certifikatutfärdare (CA).

• För att lägga till en CA, välj Använd anpassad betrodd CA.

• I CA-sökväg anger du sökvägen till CA-filen som ska laddas upp till Qlik Cloud. CA-filen är tillgänglig för de kluster som kör uppgifterna.

Ytterligare Kafka-egenskaper

Ytterligare Kafka-egenskaper är valfria.

Lägg till en nyckel och ett värde för alla taggar som du vill inkludera och som hjälper dig att identifiera, organisera och hantera resurser.

Schema registry-koppling

Schema registry-servern är valfri.

För att ansluta till ett schema registry, klicka på Konfigurera en schema registry-server och konfigurera inställningarna:

• Schema Registry URI: Ange URI i formatet, http://schema-registry1.example.com:8081;http://schema-registry2.example.com:8081.

• Användarnamn: Ange användarnamnet för serverkopplingen.

• Lösenord: Ange lösenordet för serverkopplingen.

Schema registry-koppling TLS

Om du väljer att konfigurera en schema registry-server, har du möjlighet att lägga till en certifikatutfärdare (CA).

• Om du vill lägga till en CA väljer du Använd anpassad betrodd CA.

• I CA-sökväg anger du sökvägen till CA-filen som ska laddas upp till Qlik Cloud. CA-filen är tillgänglig för de kluster som kör uppgifterna.

Skapa kopplingen

När du har konfigurerat din säkerhetsmetod slutför du följande steg för att skapa din koppling:

• I Namn anger du visningsnamnet för kopplingen, till exempel My Kafka Streaming Source connection.

• Klicka på Testa koppling för att validera autentiseringsuppgifterna.

• Klicka på Skapa.

Mappa ämnen till datauppsättningar

Följande användningsfall stöds vid inmatning från en Kafka-källa: