Akış verilerini Qlik Açık Göl Evi hedefine yerleştirme

Bir klasör kaynağından verileri Amazon S3'e aktarabilirsiniz, Streaming Transform görevinin onu Iceberg açık tablo formatına dönüştürmesi için hazır.

Akış verilerini bir Qlik Açık Göl Evi hedefine yerleştirmek, önceden yapılandırılmış bir Amazon S3 demeti gerektirir. Qlik Açık Göl Evi, yüksek hacimli veri kaynakları için özel olarak optimize edilmiştir ve Qlik tarafından desteklenen tüm klasör veri kaynaklarıyla uyumludur. Desteklenen klasör kaynakları hakkında daha fazla bilgi için Veri klasörlerine bağlanma bölümüne bakın.

Ham veriler S3'te Avro biçiminde bulunur ve Akış Dönüştürme görevi verileri Iceberg biçimine dönüştürür. Iceberg spesifikasyonu, verilerin Amazon Athena, Ahana veya Starburst Enterprise gibi Trino SQL'i yerel olarak destekleyen herhangi bir motordan sorgulanmasını sağlar. İsteğe bağlı olarak tablolar, verilerin çoğaltılmasına gerek kalmadan sorgulanabilecekleri bulut veri deponuza yansıtılabilir.

Hazırlıklar

• Qlik Açık Göl Evi kurulumunu yaptığınızdan emin olun. Bu, bir ağ entegrasyonu, bir lakehouse kümesi ve kaynak ve hedef bağlantıları oluşturmayı içerir. Daha fazla bilgi için şuraya bakın: Qlik Açık Göl Evi uygulaması kurulumu.

• Bulut veri deponuza veri yansıtmak için, verilerinizi almak ve Iceberg açık tablo formatını kullanarak depolamak üzere öncelikle bir Qlik Açık Göl Evi projesi oluşturmanız gerekir. Akış Dönüştürme görevinden sonra bir Yansıtma verileri görevi ekleyebilirsiniz. Daha fazla bilgi için şuraya bakın: Verileri bir bulut veri deposuna yansıtma.

Akış yerleştirme görevi oluşturma

Akış yerleştirme görevi oluşturmak için, öncelikle projeyi oluşturmak üzere aşağıdakileri yapın:

1. Bir proje oluşturun ve Kullanım durumunda Veri işlem hattı seçeneğini belirleyin.

2. Veri platformunda Qlik Açık Göl Evi öğesini seçin ve veri kataloğuna bir bağlantı kurun.

3. Yerleştirme hedefi bağlantısında bir hazırlama alanı oluşturun.

4. Projeyi oluşturmak için Oluştur'a tıklayın.

Projeye veri eklediğinizde veya bir yerleştirme görevi oluşturduğunuzda, bir Yerleştirme görevi yerine bir Akış yerleştirme görevi oluşturulur. Akış yerleştirme görevleri, verileri akış kaynaklarından bulut depolamaya yerleştirmeleri dışında, bir Yerleştirme görevine benzer şekilde çalışır ve davranır. Daha fazla bilgi için şuraya bakın: Veri klasörlerine bağlanma.

Tüm dosyalar Avro biçiminde indirilir. Yerleştirme verileri güncellendikten sonra, Akış Dönüştürme görevi yerleştirme verilerini tüketir ve harici tabloları günceller.

Görev bilgilerini görüntüleme

Görev bilgilerini görüntülemek için menü çubuğundaki öğesine tıklayın, örneğin:

• Sahip

• Kullanılabilir alan

• Veri platformu

• Proje Kimliği

• Veri görevi çalışma zamanı kimliği

İşlemler

Akışlı yerleştirme görevinde aşağıdaki işlemler kullanılabilir:

• Sütun bırakma

  Sütunu seçin ve Kaldır'a tıklayın.

  Bu, görev hazırlandıktan ve çalıştırıldıktan sonra sütunu yeni yüklenen verilerden kaldıran bir dönüştürme kuralı ekleyecektir. Dönüştürme kuralını silerek yeni kayıtlar için sütunu yeniden kullanılabilir hale getirebilirsiniz.

• Bir sütunu karma hale getirme, örneğin hassas bilgileri maskelemek için.

  Sütunda Karma öğesini seçin.

  Bu, giriş sütununu Karma tuz dizesi ile birleştirdikten sonra bir SHA-256 karması oluşturacaktır. Karma tuz dizesi, Qlik Açık Göl Evi projelerinde kullanılabilen bir proje ayarıdır.

  Bir sütun karmalandığında veri türü Dize olarak değiştirilir. Ayrıcalıklı kullanıcılar için karmalanmamış verileri de tutmak istiyorsanız, karmayı daha sonra bir Dönüştürme görevinde gerçekleştirin.

• Verileri filtreleme

  Daha fazla bilgi için şuraya bakın: Veri kümesi filtreleme.

• Bir veri kümesini yeniden adlandırma

  Veri kümesi üzerinde öğesine tıklayın ve Yeniden Adlandır'ı seçin.

Ayarlar

Görev ayarları hakkında daha fazla bilgi için bk. Akış gölü yerleştirme ayarları.