Akış verilerini Qlik Açık Göl Evi hedefine yerleştirme

Bir akış kaynağından gelen verileri, Akış Dönüştürme görevinin Iceberg açık tablo biçimine dönüştürmesi için hazır olacak şekilde Amazon S3'e yerleştirebilirsiniz.

Akış verilerini bir Qlik Açık Göl Evi hedefine yerleştirme, önceden yapılandırılmış bir Amazon S3 demeti gerektirir. Qlik Açık Göl Evi, yüksek hacimli veri kaynakları için özel olarak optimize edilmiştir ve Qlik tarafından desteklenen tüm akış veri kaynakları ile uyumludur. Desteklenen akış kaynakları hakkında daha fazla bilgi için bkz. Veri klasörlerine bağlanma.

Ham veriler S3'e Avro biçiminde yerleştirilir ve Akış Dönüştürme görevi verileri Iceberg biçimine dönüştürür. Iceberg belirtimi, verilerin Trino SQL'i yerel olarak destekleyen herhangi bir motordan (örneğin Amazon Athena, Ahana veya Starburst Enterprise) sorgulanmasını sağlar. İsteğe bağlı olarak tablolar, verileri çoğaltmadan sorgulanabilecekleri bulut veri deponuza yansıtılabilir.

Hazırlıklar

• Qlik Açık Göl Evi kurulumunu yaptığınızdan emin olun. Bu, bir ağ entegrasyonu, bir lakehouse kümesi ile kaynak ve hedef Bağlantıları oluşturmayı içerir. Daha fazla bilgi için bkz. Qlik Açık Göl Evi uygulaması kurulumu.

• Verileri bulut veri deponuza yansıtmak için, öncelikle verilerinizi almak ve Iceberg açık tablo biçimini kullanarak depolamak üzere bir Qlik Açık Göl Evi projesi oluşturmalısınız. Akış Dönüştürme görevinden sonra bir Verileri yansıtma görevi ekleyebilirsiniz. Daha fazla bilgi için bkz. Verileri bir bulut veri deposuna yansıtma.

Akış yerleştirme görevi oluşturma

Bir Akış yerleştirme görevi oluşturmak için, öncelikle projeyi oluşturmak üzere aşağıdakileri yapın:

1. Bir proje oluşturun ve Kullanım durumu bölümünde Veri İşlem hattı seçeneğini belirleyin.

2. Veri platformu bölümünde Qlik Açık Göl Evi seçeneğini belirleyin ve veri kataloğuna bir Bağlantı kurun.

3. Yerleştirme hedefi Bağlantısı bölümünde bir depolama alanı ayarlayın.

4. Projeyi oluşturmak için Oluştur'a tıklayın.

Projeye veri eklediğinizde veya bir yerleştirme görevi oluşturduğunuzda, bir Yerleştirme görevi yerine bir Akış yerleştirme görevi oluşturulur. Akış yerleştirme görevleri, verileri akış kaynaklarından bulut depolama alanına yerleştirmeleri dışında bir Yerleştirme görevine benzer şekilde çalışır ve davranır. Daha fazla bilgi için bkz. Veri klasörlerine bağlanma.

Tüm dosyalar Avro biçiminde yerleştirilir. Yerleştirme verileri güncellendikten sonra, Akış Dönüştürme görevi yerleştirme verilerini tüketir ve harici tabloları günceller.

Görev bilgilerini görüntüleme

Görev bilgilerini görüntülemek için menü çubuğundaki öğesine tıklayın, örneğin:

• Sahip

• Kullanılabilir alan

• Veri platformu

• Proje Kimliği

• Veri görevi çalışma zamanı kimliği

İşlemler

Bir akış yerleştirme görevinde aşağıdaki işlemler kullanılabilir:

• Sütun bırakma

  Sütunu seçin ve Kaldır'a tıklayın.

  Bu, görev hazırlanıp çalıştırıldıktan sonra sütunu yeni yüklenen verilerden kaldıran bir dönüştürme kuralı ekleyecektir. Dönüştürme kuralını silerek sütunu yeni kayıtlar için geri yükleyebilirsiniz.

• Örneğin hassas bilgileri maskelemek için bir sütunu karma (hash) işleminden geçirme.

  Sütunda Karma seçeneğini belirleyin.

  Bu, giriş sütununu bir karma tuzu (hash salt) dizesiyle birleştirdikten sonra SHA-256 karmasını oluşturacaktır. Karma tuzu dizesini proje ayarlarında Meta veriler > Karma altında ayarlarsınız. Bu ayar yalnızca Qlik Açık Göl Evi projelerinde kullanılabilir. Daha fazla bilgi için bkz. Meta veri

  Bir sütun karma işleminden geçirildiğinde veri türü Dize olarak değiştirilir. Ayrıcalıklı kullanıcılar için karma işleminden geçirilmemiş verileri de tutmak istiyorsanız, karma işlemini daha sonra bir Dönüştürme görevinde gerçekleştirin.

• Verileri filtreleme

  Daha fazla bilgi için bkz. Veri kümesi filtreleme.

• Bir veri kümesini yeniden adlandırma

  Veri kümesi üzerinde öğesine tıklayın ve Yeniden adlandır seçeneğini belirleyin.

Bir görevi silme

Veri görevi çalışmıyorsa ve aynı projedeki sonraki görevlere bağımlılıkları yoksa silebilirsiniz.

• Projenin İşlem hattı projesi görünümünde, bir görevde öğesine tıklayın ve Sil öğesini seçin.

Görev tarafından oluşturulan yapıtlar (tablolar ve görünümler), bunları tutmayı seçmezseniz silinecektir.

Ayarlar

Görev ayarları hakkında daha fazla bilgi için bkz. Akış gölü yerleştirme ayarları