Apache Kafka Veri Akışı

Apache Kafka kümenize bağlanarak Qlik Açık Göl Evi projelerinizde bir akış veri kaynağı olarak kullanın. Kafka bağlantıları yalnızca Akış yerleştirme görevi ve Akış dönüştürme görevi ile kullanılabilir.

Qlik Açık Göl Evi, kuruluşların açık ve ölçeklenebilir bir mimaride gerçek zamanlı, analize hazır işlem hatları oluşturmasını sağlar. Apache Kafka'yı bir akış kaynağı olarak entegre ederek, Qlik yüksek hacimli olay verilerinin Apache Iceberg tablolarına sürekli alımını destekler. Bu kombinasyon, düşük gecikmeli veri kullanılabilirliği ve sağlam şema evrimi sunarak ekiplerin gerçek zamanlı içgörüleri operasyonel hale getirmesine ve sonraki dönüşümleri hızlandırmasına olanak tanır.

Akışlı yerleştirme görevleri ve Akışlı dönüştürme görevleri, Kafka konularının Qlik Açık Göl Evi projelerinizin merkezi bileşenleri olmasını sağlar. Veriler Iceberg'e akarken, analiz, yapay zeka ve makine öğrenimi iş yükleri için hızla erişilebilir hale gelir, zamana duyarlı karar alma ve ölçeklenebilir veri mühendisliği uygulamalarını destekler. Sonuç, akış mimarilerinizin güvenilirliğini ve performansını güçlendiren birleşik, sorgu için optimize edilmiş bir veri katmanıdır. Kafka'dan gelen verileri bulut veri deponuzun sorgu motorunu kullanarak analiz etmek için, verileri bir Qlik Açık Göl Evi içinde yerleştirin ve depolayın ve bir Veri yansıtma görevi kullanarak verileri deponuza yansıtın.

Ön koşullar

Kafka klasör kaynağı oluştururken ve kullanırken aşağıdaki gereksinimler geçerlidir:

• Aracı sunucularına ağ bağlantısı olan bir ağ entegrasyonu.

• Bağlanmak istediğiniz Kafka kümesinin, yerleştirme görevini çalıştıracak Lakehouse kümesinin bulunduğu VPC'den erişilebilir olduğundan emin olun.

• Bir Kafka klasör kaynağı bağlantısı, bir Qlik Açık Göl Evi hedef platform gerektirir.

Kafka Bağlantı özelliklerini ayarlama

Kafka bağlantınızı yapılandırmak için aşağıdakileri yapın:

1. Bağlantılar'da Bağlantı oluştur'a tıklayın.

2. Bağlantıyı oluşturmak istediğiniz Alanı seçin veya Yeni veri alanı oluştur seçeneğini belirleyin.

3. Bağlayıcı adı listesinden Kafka öğesini seçin veya Ara kutusunu kullanın. Tür'ün Kaynak ve Kategori'nin Akış olduğundan emin olun.

4. Aşağıdaki özellikleri yapılandırın:

Veri kaynağı

Veri kaynağı bağlantı özelliklerinizi aşağıdaki gibi ayarlayın:

• Listenizden Ağ entegrasyonunuzu seçin.

• Aracı sunucularda, hostname:port biçimini kullanarak tek bir ana bilgisayar girin, örneğin: host1:9092.

  Ana bilgisayar listesi girmek için şu biçimi kullanın: hostname:port, hostname:port, örneğin: host1:9092,host2:9092.

Kimlik doğrulama ayrıntıları

• Listeden Kimlik doğrulama yöntemi seçin:

  • SASL/SCRAM-SHA-512: Bu seçenek, SCRAM-SHA-512 mekanizmasını kullanarak bir kullanıcı adı ve parola ile kimlik doğrulaması yapar. Bu, en güvenli SCRAM varyantıdır ve Kafka kümesinde eşleşen SCRAM-SHA-512 kimlik bilgilerinin yapılandırılmasını gerektirir.

:

SASL/SCRAM-SHA-256

Bağlantınız için Kullanıcı Adı ve Parola girin.

TLS

İsteğe bağlı olarak, bir Sertifika Yetkilisi (CA) ekleyebilirsiniz.

• Bir CA eklemek için Özel güven CA kullan seçeneğini belirleyin.

• CA yolu alanına, Qlik Cloud öğesine yüklenecek CA dosyasının yolunu girin. CA dosyası, görevleri çalıştıran kümelere açıktır.

Ek Kafka özellikleri

Ek Kafka özellikleri isteğe bağlıdır.

Kaynakları tanımlamanıza, düzenlemenize ve yönetmenize yardımcı olması amacıyla eklemek istediğiniz etiketler için bir Anahtar ve Değer ekleyin.

Şema kayıt defteri bağlantısı

Şema kayıt defteri sunucusu isteğe bağlıdır.

Bir şema kayıt defterine bağlanmak için Şema kayıt defteri sunucusu kur seçeneğine tıklayın ve ayarları yapılandırın:

• Şema Kayıt Defteri URI'si: URI'yi şu biçimde girin: http://schema-registry1.example.com:8081;http://schema-registry2.example.com:8081.

• Kullanıcı Adı: Sunucu bağlantısı için kullanıcı adını girin.

• Parola: Sunucu bağlantısı için parolayı girin.

Şema kayıt defteri bağlantısı TLS

Bir şema kayıt defteri sunucusu yapılandırmayı seçerseniz, bir Sertifika Yetkilisi (CA) ekleme seçeneğiniz vardır.

• CA eklemek için Özel güven CA kullan seçeneğini belirleyin.

• CA yolu alanına, Qlik Cloud öğesine yüklenecek CA dosyasının yolunu girin. CA dosyası, görevleri çalıştıran kümelere açıktır.

Bağlantı oluştur

Güvenlik yönteminizi yapılandırdıktan sonra, bağlantınızı oluşturmak için aşağıdaki adımları tamamlayın:

• Ad alanına, bağlantının görünen adını girin, örneğin, My Kafka Streaming Source connection.

• Kimlik bilgilerini doğrulamak için Bağlantıyı test et'e tıklayın.

• Oluştur'a tıklayın.

Konuları veri kümeleriyle eşleme

Bir Kafka kaynağından alım yapılırken aşağıdaki kullanım senaryoları desteklenmektedir: