Akış verilerini Qlik Açık Göl Evi hedefine yerleştirme

Veriler Amazon S3'e ulaşır, Iceberg açık tablo formatına dönüştürmek üzere Streaming Transform görevi için hazır. Qlik tarafından desteklenen herhangi bir akış kaynağından veri yerleştirebilirsiniz.

Akış verilerini bir Qlik Açık Göl Evi hedefine yerleştirmek, önceden yapılandırılmış bir Amazon S3 demeti gerektirir. Qlik Açık Göl Evi, yüksek hacimli veri kaynakları için özel olarak optimize edilmiştir ve Qlik tarafından desteklenen tüm akış veri kaynaklarıyla uyumludur. Desteklenen klasör kaynakları hakkında daha fazla bilgi için Veri klasörlerine bağlanma bölümüne bakın.

Ham veriler S3'te Avro biçiminde bulunur ve Akış Dönüştürme görevi verileri Iceberg biçimine dönüştürür. Iceberg spesifikasyonu, verilerin Amazon Athena, Ahana veya Starburst Enterprise gibi Trino SQL'i yerel olarak destekleyen herhangi bir motordan sorgulanmasını sağlar. İsteğe bağlı olarak tablolar, verilerin çoğaltılmasına gerek kalmadan sorgulanabilecekleri bulut veri deponuza yansıtılabilir.

Verileri bir Qlik Açık Göl Evi hedefine yerleştirmek, AWS Glue Data Catalog hedef bağlantısına sahip projelerde kullanılabilir.

Hazırlıklar

• Alımı çalıştırmak için bir depolama lakehouse kümesi gereklidir ve projenizi oluşturmadan önce yapılandırılmalıdır.

• Kaynak ve hedef bağlantı ayarlarınızı kurulum sihirbazında yapılandırabilmenize rağmen, kurulum prosedürünü basitleştirmek için bunu görevi oluşturmadan önce yapmanız önerilir.

• Bulut veri deponuza veri yansıtmak için, verilerinizi almak ve Iceberg açık tablo formatını kullanarak depolamak üzere öncelikle bir Qlik Açık Göl Evi projesi oluşturmanız gerekir. Akış Dönüştürme görevinden sonra bir Yansıtma verileri görevi ekleyebilirsiniz. Daha fazla bilgi için şuraya bakın: Verileri bir bulut veri deposuna yansıtma.

Akış yerleştirme görevi oluşturma

Akış yerleştirme görevi oluşturmak için, öncelikle projeyi oluşturmak üzere aşağıdakileri yapın:

1. Bir proje oluşturun ve Kullanım durumunda Veri işlem hattı seçeneğini belirleyin.

2. Veri platformunda Qlik Açık Göl Evi öğesini seçin ve veri kataloğuna bir bağlantı kurun.

3. Yerleştirme hedefi bağlantısında bir hazırlama alanı oluşturun.

4. Verilerin alımını ve optimizasyonunu gerçekleştirmek için Depolama lakehouse kümesini seçin.

5. Projeyi oluşturmak için Oluştur'a tıklayın.

Projeye veri eklediğinizde veya bir yerleştirme görevi oluşturduğunuzda, bir Yerleştirme görevi yerine bir Akış yerleştirme görevi oluşturulur. Akış yerleştirme görevleri, verileri akış kaynaklarından bulut depolamaya yerleştirmeleri dışında, bir Yerleştirme görevine benzer şekilde çalışır ve davranır. Daha fazla bilgi için şuraya bakın: Veri klasörlerine bağlanma.

Tüm dosyalar Avro biçiminde indirilir. Yerleştirme verileri güncellendikten sonra, Akış Dönüştürme görevi yerleştirme verilerini tüketir ve harici tabloları günceller.

Ayarlar

Görev ayarları hakkında daha fazla bilgi için bk. Akış gölü yerleştirme ayarları.