Veri klasörlerine bağlanma
Aşağıdaki klasör hizmetleri Qlik Açık Göl Evi projelerinde desteklenir. Olay verileri, aşağı akış veri entegrasyonu, analitik ve yapay zeka için neredeyse gerçek zamanlı kullanılabilirlik sağlamak amacıyla sürekli olarak alınır ve en güncel operasyonel etkinliği yansıtan düşük gecikmeli İşlem hatları etkinleştirilir.
Apache Kafka ve Amazon Kinesis gibi akış hizmetleri, operasyonel olayları oluştukları anda yakalamak için dayanıklı, yüksek verimli İşlem hatları sağlar. Toplu alıma dayanan dosya tabanlı kaynakların aksine, klasör kaynakları olaylar üretildikçe verileri sürekli olarak ileterek, dosyaların oluşturulmasını veya zamanlanmasını beklemeden neredeyse gerçek zamanlı işlemeyi etkinleştirir. Üreticiler, şemalarını koruyan ve bölümlemeyi destekleyen yapılandırılmış veya yarı yapılandırılmış mesajlar yayımlar. Aynı kayıt için tüm güncellemeler ve silmeler aynı bölüm anahtarını kullanmalıdır. Kafka ve Kinesis, sıralamayı yalnızca tek bir bölüm veya parçacık içinde garanti eder, tüm konu veya klasör genelinde değil; bu nedenle tutarlı bir bölüm anahtarı kullanmak, belirli bir kayıt için yapılan değişikliklerin doğru sırada işlenmesini sağlar. Qlik ayrıca olay verilerini sürekli olarak almak için Amazon S3'ü bir akış kaynağı olarak destekler.
Akışlı alım ve toplu alım
Klasör ve toplu veri kaynakları arasındaki farklar şunlardır:
-
Her iki kaynakla da olaylar her dakika verimli bir şekilde alınır, düşük gecikmeli işlemeyi ve neredeyse gerçek zamanlı analizi destekler.
-
Klasör olmayan kaynaklarda, önce mevcut verilerin tam yükü yapılır ve ardından değişiklikler alınır. Kaynaktan tam yük verilerini yeniden yükleyebilirsiniz.
-
Klasör kaynaklarında, ilk yükleme ile sonraki olaylar arasında temiz bir ayrım yoktur. Qlik saklamayı yönetebilir ve ayrıca bölümleri destekler.
Bir Qlik Açık Göl Evi projesinde, akış kaynakları yalnızca Akış yerleştirme görevi ve Akış dönüştürme görevi ile kullanılabilir:
-
Akış verileri bir Akış yerleştirme görevi kullanılarak alınır ve ayrık dosyaları işlemek yerine, Akış yerleştirme görevi olayları geldikçe okur, verileri Amazon S3'e yerleştirir ve olayları Avro dosyaları olarak kalıcı hale getirir. Bu yaklaşım, şema evrimini korur, yapılar gibi karmaşık veri türlerini destekler ve sürekli bir alım modelini sürdürürken optimize edilmiş sorgu performansıyla verimli depolama sağlar.
-
Bir klasör kaynağından veri eklediğinizde, Iceberg biçiminde depolanacak her veri kümesi için otomatik olarak bir Klasör dönüştürme görevi eklenir. İsteğe bağlı olarak, Klasör dönüştürme görevi yapıları standartlaştırmak, olay yüklerini zenginleştirmek veya verileri aşağı akış tüketim modelleriyle hizalamak için kullanılabilir.
-
Bir Veri yansıtma görevi, klasör kaynaklarından gelen veri kümelerinin bulut veri depolarına yansıtılmasını sağlayarak aşağı akış sistemlerinin verileri çoğaltmadan klasör olaylarını tüketmesine olanak tanır. Daha fazla bilgi için bkz. Verileri bir bulut veri deposuna yansıtma.
Sınırlamalar
Aşağıdaki sınırlamalar tüm veri kaynakları için geçerlidir:
-
Dosyalarınız farklı türdeyse, bu durum birden çok kaynaktan veya sürümden geldiklerinde ortaya çıkabilir, tek bir örnek dosya kullanılarak oluşturulan dönüştürme görevi (örneğin, ilk kurulum sırasında) bu farklılıkları otomatik olarak hesaba katmaz.
-
Yerleştirme görevindeki veri türlerini değiştirirseniz, örneğin verileri karma hale getirmeniz gerektiği için, dönüştürme veri türlerinin yeni veri türleriyle eşleştiğinden emin olun.
