Akış veri kümelerini depolama

Aşağıdaki Akış Dönüştürme görevi ayarları, bir akış kaynağı kullanan Qlik Açık Göl Evi projeleri için geçerlidir.

Akış Veri dönüştür görevini kullanarak akış verilerini depolayabilir ve dönüştürebilirsiniz. Akış verileri genellikle düzleştirilmesi gereken iç içe geçmiş yapılar ve diziler içerir ve depolama aşamasında dönüştürme yeteneklerine ihtiyaç duyulur. Bu yetenekler Akış Dönüştürme görevinde mevcuttur ve akış verilerinizi yerleştirme işleminden hemen sonra dönüştürmeleri uygulamanıza olanak tanır.

Veri kümesi ayrıntı düzeyini yönetme

Ayrıntı düzeyini artırmak için iç içe geçmiş yapıları ve dizileri düzleştirebilirsiniz. Ayrıntı düzeyi, Veri Kümesi görünümünde görüntülenir. Ayrıntı düzeyini düzenlemek için simgesine tıklayın:

• Bir diziden bir alan seçmek, hedef tablonun her öğe için bir satır içermesine neden olur. Bu, hedefteki satır sayısını artıracaktır.

• Aynı dizi yolundan alanlar seçmelisiniz. Farklı yollardan alanlar seçmek bir doğrulama hatasına neden olur.

• Görüntülenen veri türleri, seçilen ayrıntı düzeyini yansıtır. Örneğin, bir ARRAY<INT> düzleştirildiğinde INT olur. Daha fazla bilgi için bkz. Veri türü eşlemeleri.

Bir görevi silme

Veri görevi çalışmıyorsa ve aynı projedeki sonraki görevlere bağımlılıkları yoksa silebilirsiniz.

• Projenin İşlem hattı projesi görünümünde, bir görevde öğesine tıklayın ve Sil öğesini seçin.

Görev tarafından oluşturulan yapıtlar (tablolar ve görünümler), bunları tutmayı seçmezseniz silinecektir.

Görev bilgilerini görüntüleme

Görev bilgilerini görüntülemek için menü çubuğundaki öğesine tıklayın, örneğin:

• Sahip

• Kullanılabilir alan

• Veri platformu

• Proje Kimliği

• Veri görevi çalışma zamanı kimliği

Akış Dönüştürme ayarları

Veri platformu Qlik Açık Göl Evi olduğunda Akış Veri dönüştür görevi için özellikleri ayarlayabilirsiniz.

• Ayarlar'a tıklayın.

Genel ayarlar

• Görev şeması

  Akış Dönüştürme görev şemasının adını değiştirebilirsiniz. Varsayılan ad, depolama görevinin adıdır.

• Dahili şema

  Dahili depolama veri varlığı şeması adını değiştirebilirsiniz. Varsayılan ad, sonuna _internal eklenmiş depolama görevinin adıdır.

• Tüm tablo ve görünümler için ön ek

  Bu görevle oluşturulan tüm tablolar ve görünümler için bir önek ayarlayabilirsiniz.

  Bilgi notuBir veritabanı şemasını birden fazla veri görevinde kullanmak istediğinizde benzersiz bir önek kullanmanız gerekir.

• Kullanılacak klasör

  Akış Dönüştürme görevi depolama klasörünü değiştirebilirsiniz.

• Yeni veri kümeleri için yükleme ayarları

  • Yalnızca ekle

    Mevcut verileri değiştirmeden yeni kayıtlar ekler. Yinelenen kayıtlar gelirse anahtar kısıtlamaları uygulanmaz.

  • Değişiklikleri uygula

    Anahtar alanlara göre mevcut kayıtları günceller ve yeni kayıtlar ekler.

    Değişiklikleri birleştirmeyi seçerseniz aşağıdakileri de seçebilirsiniz:

    • Silme ifadesi sağlayarak kayıtları geçici olarak sil

      Kayıtları silinmek üzere işaretlemek için bir silme ifadesi tanımlayın.

    • Geçmiş kayıtları tut (Tip 2)

      Değiştirilen kayıtların önceki sürümlerini tutun.

• Sütun iç içeliğini kaldırma

  • İç içe geçmiş sütunları koru

    İç içe geçmiş verileri korumak için seçin.

  • Ayrı sütunlara ayır

    Varsayılan davranış, verileri ayrı sütunlara ayırmaktır.

• Hedef tablo bölümlemesi

  Bilgi notuBu seçenek yalnızca Yükleme ayarları bölümünde Yalnızca ekle seçildiğinde kullanılabilir.

  • Bölümleme yok

    Yeni tablolar bölümlenmeden oluşturulur.

  • Olay tarihine göre bölümle

    Yeni tablolar, olayların alındığı tarihe göre bölümlenir.

• Veri değişikliği işleme

  Bilgi notuBu seçenek yalnızca Yükleme ayarları bölümünde Değişiklikleri uygula seçildiğinde kullanılabilir.

  • Geçici silmeleri dahil et: Hangi kayıtların silinmek üzere işaretleneceğini tanımlamak için bir ifade girin.

  • Geçmiş veri deposu oluştur (Tip 2): Bu, değiştirilen kayıtların önceki sürümlerini tutacaktır.

• Saklama yönetimi

  • Bölüm budama yok

  • Geçerli anlık görüntü bölümü budama

Tablo tanımları

• hdr__from_timestamp

  Bu seçenek etkinleştirildiğinde, hdr__from_timestamp başlık sütunu standart görünümlerde görünür. Ayrıca, katılım sihirbazında Olay alım tarihine göre bölümle seçildiğinde, hdr__from_timestamp varsayılan bölüm sütunu olarak kullanılacaktır.

  Bilgi notuGeçmiş görünümleri, bu ayardan bağımsız olarak her zaman tüm standart görünüm başlık sütunlarını içerir.

Çalışma zamanı ayarları

• Lakehouse kümesi

  Lakehouse kümesini değiştirebilirsiniz, ancak bu akış iş yüklerini veya karma iş yüklerini desteklemelidir.

Şema gelişimi ayarları

• Kök düzeyinde sütun ekle

  Bu ayar, kök düzeyindeki akış yerleştirme görevine yeni sütunlar eklendiğinde geçerlidir.

  • Hedefe uygula

    Akış yerleştirme görevindeki yeni kök düzeyi sütunlarını otomatik olarak Akış Dönüştürme görevine ekler. Bu varsayılan ayardır.

  • Yoksay

    Yeni kök düzeyi sütunları eklemez.

  • Görevi durdur

    Akış yerleştirme görevinde yeni bir kök düzeyi sütunu algılanırsa dönüştürme görevini durdurur.

• Yapılara sütun ekle

  Bu ayar, akış yerleştirme görevindeki mevcut bir iç içe geçmiş yapıya yeni alanlar eklendiğinde geçerlidir.

  • Hedefe uygula

    Yerleştirme yapısına eklenirlerse, Akış Dönüştürme görevindeki mevcut yapılara otomatik olarak yeni alanlar ekler.

  • Yoksay

    Mevcut yapılara yeni alanlar eklemez.

  • Görevi durdur

    Akış yerleştirme görevindeki bir yapıya yeni bir alan eklenirse dönüştürme görevini durdurur.

• Alan veri türünü değiştir

  • Yoksay

    Veri türünü değiştirmez.

  • Görevi durdur

    Akış yerleştirme görevinde bir veri türü değişikliği algılanırsa dönüştürme görevini durdurur.

Veri kümesi ayarları

Aşağıdaki ayarlar Tasarım görünümü > Veri kümeleri altındaki tüm veri kümeleri için mevcuttur.

Veri kümesinin yanındaki simgesine tıklayın ve Ayarlar'ı seçin.

• Veri yükleme işleme

  Verilerin hedef tabloya nasıl yükleneceğini seçer.

  • Yalnızca ekle

    Mevcut verileri değiştirmeden yeni kayıtlar ekler. Yinelenen kayıtlar gelirse anahtar kısıtlamaları uygulanmaz.

  • Değişiklikleri uygula

    Anahtar alanlara göre mevcut kayıtları günceller ve yeni kayıtlar ekler.

• Veri değişikliği işleme

  Bilgi notuBu seçenek yalnızca Yükleme ayarları bölümünde Değişiklikleri uygula seçildiğinde kullanılabilir.

  • Geçici silmeleri dahil et: Hangi kayıtların silinmek üzere işaretleneceğini tanımlamak için bir ifade girin. Bu, değişiklik geçici bir silme işlemiyse Doğru (True) olarak doğrulanan bir ifade olmalıdır.

    Örnek: operation = 'D'

  • Geçmiş veri deposu oluştur (Tip 2): Bu, değiştirilen kayıtların önceki sürümlerini tutacaktır.

• Bölüm sütunları

  İsteğe bağlı olarak, performansı optimize etmek için bölüm sütunları seçebilirsiniz.

  Bir bölüm sütunu eklemek için Sütun ekle'ye tıklayın, ardından bir Dönüştürme seçin ve gerekirse bir Parametre ayarlayın.

• Saklama yönetimi   

  Bölüm budama, saklama süresinden daha eski olan bölümleri kaldırır. Bu, verileri fiziksel olarak silmez ve eski anlık görüntüleri hemen etkilemez. Eski veriler, süreleri dolana kadar eski anlık görüntülerde bulunabilir.

  Bilgi notuYalnızca bölümün en az bir tarih veya tarih-saat sütunu varsa görünür.

  • Bölüm budama yok

  • Geçerli anlık görüntü bölümü budama

• Sütunları sırala

  Bilgi notuBu seçenek yalnızca Yükleme ayarları bölümünde Yalnızca ekle seçildiğinde kullanılabilir.

  İsteğe bağlı olarak, Iceberg tablonuzun her bir dosyası içinde verilerin sıralanacağı sütunları belirtebilirsiniz. Veri alımı sırasında Iceberg, kayıtları sıralamak için bu sütunları kullanır. Sorgularda sık kullanılan sütunlarda sıralama anahtarları tanımlamak, veri yerelliğini iyileştirerek daha hızlı okuma performansı ve daha verimli sıkıştırma sağlar. Doğru yapılandırılmış sıralama anahtarları, verilerinizin sorgu performansı için en uygun şekilde düzenlenmesini sağlar.

  Bir sıralama sütunu eklemek için Sütun ekle'ye tıklayın ve ardından sıralama düzenini ayarlayın.

• Anlık görüntü sona erme süresi

  Bu ayar, anlık görüntülerin ne kadar süreyle saklanacağını kontrol eder ve bu da tablo boyutunu ve depolama maliyetlerini önemli ölçüde etkiler. Sık güncellenen tablolar için, depolama maliyetlerini azaltmaya yardımcı olmak amacıyla daha kısa bir süre önerilir.

  Bilgi notuAnlık görüntü sona ermesini devre dışı bırakmak için 0 girin.

• Standart görünüm başlıkları

  • Veri görevi ayarlarından devral

    Bu varsayılandır. Yalnızca bu veri kümesi için belirli başlık sütunları ayarlamak istiyorsanız devre dışı bırakın.

  • hdr__from_timestamp

    Bu seçenek etkinleştirildiğinde, hdr__from_timestamp başlık sütunu standart görünümlerde görünür. Ayrıca, katılım sihirbazında Olay alım tarihine göre bölümle seçildiğinde, hdr__from_timestamp varsayılan bölüm sütunu olarak kullanılacaktır.

    Bilgi notuGeçmiş görünümleri, bu ayardan bağımsız olarak her zaman tüm standart görünüm başlık sütunlarını içerir.