Veri kümelerini saklama

Bir Qlik Açık Göl Evi projesinde depolama görevi, verimli depolama ve sorgulama için yerleştirilen verileri Iceberg tablolarına yazar. Depolama veri görevi, bir yerleştirme veri görevi tarafından bulut yerleştirme alanına yerleştirilen verileri tüketir. Tabloları örneğin bir analiz uygulamasında kullanabilirsiniz.

Aşağıdaki ayarlar ve davranışlar, Iceberg tablolarına yazan bir Qlik Açık Göl Evi projesindeki depolama görevi için geçerlidir.

• Depolama verileri görevi sürekli olarak çalışır ve zamanlanamaz.

• Qlik, Iceberg tablolarında depolanan verileri otomatik olarak optimize eder. Optimizasyon süreci hakkında daha fazla bilgi için bkz. Qlik Açık Göl Evi mimarisi .

• Yerleştirme veri görevinin durumu en az Hazırlamaya hazır olduğunda bir depolama veri görevi tasarlayabilirsiniz.

• Yerleştirme veri görevinin durumu en az Çalıştırılmaya hazır olduğunda bir depolama veri görev hazırlayabilirsiniz.

Depolama veri görevi, tüketilen yerleştirme veri göreviyle aynı işletim modunu (Tam yükleme veya Tam yükleme ve CDC) kullanır. Yapılandırma özellikleri iki çalışma modu arasında, ayrıca izleme ve denetim seçenekleri arasında da farklıdır. Bir bulut hedefi yerleştirme veri görevini yalnızca tam yükleme ile kullanırsanız, depolama veri görevi fiziksel tablolar oluşturmak yerine yerleştirme veri tablolarının görünümlerini oluşturur.

Depolama veri görevi oluşturma

Bir depolama veri görevini üç şekilde oluşturabilirsiniz:

• Yerleştirme veri görevinde ... üzerine tıklayıp Verileri depola'yı seçerek bu yerleştirme veri görevini temel alan bir depolama alanı veri görevi oluşturun.

• Bir projede Oluştur'a, sonra Verileri depola'ya tıklayın. Bu durumda, kullanılacak yerleştirme veri görevini belirtmeniz gerekir.

• Verileri buluta aldığınızda, bir depolama veri görevi oluşturulur. Bunun, veriler buluta alınırken ayrıca oluşturulan yerleştirme veri görevine bağlantısı vardır.

  Daha fazla bilgi için bk. Verileri şuraya ekleme: Qlik Açık Göl Evi.

Depolama veri görevini oluşturduğunuzda:

1. ... üzerine tıklayıp Aç'ı seçerek depolama veri görevini açın.
   Depolama veri görevi açılır ve yerleştirme veri varlığından tabloları temel alan çıktı veri setlerini önizleyebilirsiniz.

2. Dahil edilen veri kümelerinde dönüştürme, veri filtreleme veya sütun ekleme gibi gerekli tüm değişiklikleri yapın.

   Daha fazla bilgi için bk. Veri kümelerini yönetme.

3. İstediğiniz dönüşümleri eklediğinizde Veri kümelerini doğrula'ya tıklayarak veri kümelerini doğrulayabilirsiniz. Doğrulama hatalar bulursa, devam etmeden önce hataları düzeltin.

   Daha fazla bilgi için şuraya bakın: Veri kümelerini doğrulama ve ayarlama.

4. Veri görevini ve gerekli tüm yapıtları hazırlamak için Hazırla'ya tıklayın. Bu işlem biraz zaman alabilir.

   İlerlemeyi ekranın alt tarafındaki Hazırlığın ilerleme durumu altında takip edebilirsiniz.

5. Çalıştırılmaya hazır durumu görüntülendiğinde veri görevini çalıştırabilirsiniz.

   Çalıştır'a tıklayın.

   Veri görevi artık verileri depolamak için veri setleri oluşturmaya başlar.

Geçmiş verilerini saklama

Verileri belirli bir zamanda göründüğü şekilde kolayca yeniden oluşturmanız için 2. tür geçmiş verilerini saklayabilirsiniz. Bu, tam bir geçmiş verileri deposu (HDS) oluşturur.

• Tip 2 yavaş değişen boyutlar desteklenir.

• Değişen bir kayıt değiştirildiğinde, değişen verileri depolamak için yeni bir kayıt oluşturulur ve eski kayıt olduğu gibi bırakılır.

• Eğilim analizleri ve diğer zamana odaklı analitik veri alt ambarları oluşturabilmeniz için yeni HDS kayıtlarına otomatik olarak zaman damgası konur.

Geçmiş verilerini şuna tıklayarak etkinleştirebilirsiniz:

• Verileri buluta aldığınızda Ayarlarda gerek mevcut verilerle gerekse önceki verilerin geçmişiyle çoğaltma.

• Bir depolama görevinin Ayarlar diyaloğunda geçmiş değişiklik kayıtlarını ve değişiklik kaydı arşivini saklama.

Depolama görevi zamanlama

Qlik Açık Göl Evi projesindeki bir depolama görevi sürekli olarak bir dakikalık mini gruplar halinde çalışır ve zamanlanamaz.

Depolama görevi izleme

Bir depolama görevinin durumunu ve ilerlemesini İzle üzerine tıklayarak izleyebilirsiniz.

Depolama Qlik Açık Göl Evi görevi izleme

Bir depolama veri görevi sorunlarını giderme

Bir depolama veri görevindeki bir veya daha fazla tabloda sorun varsa verileri yeniden yüklemeniz ya da yeniden oluşturmanız gerekebilir. Bunu yapmak için birkaç seçenek vardır. Aşağıdaki sıralamada hangi seçeneğin kullanılacağını düşünün:

1. Veri kümesini yerleştirmeye yeniden yükleyebilirsiniz. Yerleştirmede veri kümesini yeniden yüklemek, depolama alanında karşılaştırma işlemini tetikleyecek ve 2. tür geçmişi saklayan verileri düzeltecektir. Bu seçenek aşağıdaki durumlarda da değerlendirilmelidir:

   • Tam yük uzun bir süre önce gerçekleştirildiyse ve çok sayıda değişiklik varsa.

   • İşlenen tam yük ve değişiklik tablosu kayıtları, yerleştirme alanı bakımının bir parçası olarak silinmişse.

   Veri kaynaklarından veri yerleştirme

2. Tabloları yeniden oluşturabilirsiniz. Veri kümelerini kaynaktan yeniden oluşturur.

   • ... seçeneğine ve ardından Tabloları yeniden oluştur'a tıklayın. Bir tabloyu yeniden oluştururken aşağı akış görevi, kaynak veri kümelerinde bir kesme ve yeniden yükleme işlemi gerçekleşmiş gibi tepki verecektir.

     Bilgi notuAyrı ayrı tablolarla ilgili sorunlar varsa tabloları yeniden oluşturmak yerine önce yeniden yüklemeyi denemek önerilir. Tabloların yeniden oluşturulması geçmiş verilerin kaybedilmesine neden olabilir. Performansı bozacak değişiklikler varsa yeniden oluşturulan veri görevlerini kullanan aşağı akış veri görevlerini de verileri yeniden yükleyecek şekilde hazırlamanız gerekir.

Şema değişimi

Şema değişimi, birden fazla veri kaynağındaki yapısal değişiklikleri kolayca tespit etmenize ve ardından bu değişikliklerin görevinize nasıl uygulanacağını kontrol etmenize olanak tanır. Şema değişimi, kaynak veri şemasında yapılan DDL değişikliklerini tespit etmek için kullanılabilir. Bazı değişiklikleri otomatik olarak da uygulayabilirsiniz.

Her değişiklik türü için, görev ayarlarının Şema değişimi bölümünde değişikliklerin nasıl ele alınacağını seçebilirsiniz. Değişikliği uygulayabilir, değişikliği yok sayabilir, tabloyu askıya alabilir veya görev işlemeyi durdurabilirsiniz.

Her değişiklik türü için DDL değişikliğini işlemek üzere hangi eylemin kullanılacağını ayarlayabilirsiniz. Bazı eylemler tüm değişiklik türleri için mevcut değildir.

• Hedefe uygula

  Değişiklikleri otomatik olarak uygulayın.

• Yoksay

  Değişiklikleri görmezden gelin.

• Tabloyu askıya al

  Tabloyu askıya alın. Tablo, İzleme'de hatalı olarak görüntülenecektir.

• Görevi durdurun

  Görevin işlenmesini durdurun. Bu, tüm şema değişikliklerini manuel olarak işlemek istiyorsanız kullanışlıdır. Bu zamanlamayı da durduracaktır, yani zamanlanmış çalıştırmalar gerçekleştirilmeyecektir.

Aşağıdaki değişiklikler desteklenmektedir:

• Sütun ekle

• Seçim deseniyle eşleşen tablo oluşturma
  

  Bir desenle eşleşen veri kümeleri eklemek için bir Seçim kuralı kullandıysanız desene uyan yeni tablolar algılanacak ve eklenecektir.

Görev ayarları hakkında daha fazla bilgi için bkz. Şema değişimi.

Şema değişimi ile ilgili sınırlamalar

Şema değişimi için aşağıdaki sınırlamalar geçerlidir:

• Şema değişimi yalnızca güncelleme yöntemi olarak CDC kullanıldığında desteklenir.

• Şema değişimi ayarlarını değiştirdiğinizde görevi tekrar hazırlamanız gerekir.

• Tabloları yeniden adlandırırsanız şema değişimi desteklenmez. Bu durumda, görevi hazırlamadan önce meta verileri yenilemeniz gerekir.

• Bir görev tasarlıyorsanız şema değişimi değişikliklerini almak için tarayıcıyı yenilemeniz gerekir. Değişikliklerle ilgili uyarı almak için bildirimler ayarlayabilirsiniz.

• Yerleştirme görevlerinde bir sütunun bırakılması desteklenmez. Bir sütunun bırakılması ve eklenmesi tablo hatasına neden olur.

• Yerleştirme görevlerinde, tabloyu bırakma işlemi tabloyu bırakmaz. Bir tablonun bırakılması ve ardından bir tablo eklenmesi yalnızca eski tabloyu kesecek ve yeni bir tablo eklenmeyecektir.

• Bir sütunun uzunluğunun değiştirilmesi, hedef veritabanındaki desteğe bağlı olarak tüm hedefler için mümkün değildir.

• Bir sütun adı değiştirilirse o sütun kullanılarak tanımlanan açık dönüşümler, sütun adına dayalı oldukları için etkili olmayacaktır.

• Meta verileri yenileme ile ilgili sınırlamalar şema değişimi için de geçerlidir.

DDL değişikliklerini yakalarken aşağıdaki sınırlamalar geçerlidir:

• Kaynak veritabanında hızlı bir işlem dizisi gerçekleştiğinde (örneğin, DDL>DML>DDL) Qlik Talend Data Integration, günlüğü yanlış sırada ayrıştırarak eksik verilere veya öngörülemeyen davranışlara neden olabilir. Bunun gerçekleşme olasılığını en aza indirmek için en iyi uygulama, bir sonraki işlemi gerçekleştirmeden önce değişikliklerin hedefe uygulanmasını beklemektir.

  Bunun bir örneği olarak, değişiklik yakalama sırasında, bir kaynak tablo hızlı bir şekilde art arda birden fazla kez yeniden adlandırılırsa (ve ikinci işlem onu orijinal adına geri döndürürse) tablonun hedef veritabanında zaten var olduğuna dair bir hatayla karşılaşılabilir.

• Bir görevde kullanılan tablonun adını değiştirir ve ardından görevi durdurursanız görev yeniden başlatıldıktan sonra Qlik Talend Data Integration, bu tabloda yapılan değişiklikleri yakalayamaz.

• Bir görev durdurulmuşken kaynak tablonun yeniden adlandırılması desteklenmez.

• Bir tablonun Birincil Anahtar sütunlarının yeniden tahsis etmesi desteklenmez (ve bu nedenle DDL Geçmiş Kontrol tablosuna yazılmaz).
• Bir sütunun veri türü değiştirildiğinde ve (aynı) sütun daha sonra görev durdurulurken yeniden adlandırıldığında DDL değişikliği, DDL Geçmişi Kontrol tablosunda "Sütunu Bırak" ve ardından görev yeniden başlatıldığında "Sütun Ekle" olarak görünecektir. Aynı davranışın uzun süreli gecikmenin bir sonucu olarak da ortaya çıkabileceğini unutmayın.
• Bir görev durdurulurken kaynak üzerinde gerçekleştirilen CREATE TABLE işlemleri, görev devam ettirildiğinde hedefe uygulanır, ancak DDL Geçmişi Kontrol tablosuna DDL olarak kaydedilmez.

• Meta veri değişiklikleriyle ilişkili işlemler (ALTER TABLE, reorg, kümelenmiş bir dizini yeniden oluşturma vb. gibi), aşağıdakilerden birinde gerçekleştirilirse öngörülemeyen davranışlara neden olabilir:

  • Tam Yük Sırasında

    -VEYA-

  • Değişiklikleri şu tarihten itibaren işlemeye başlayın: zaman damgası ile geçerli saat (yani kullanıcının Gelişmiş Çalıştırma Seçenekleri iletişim kutusunda Tamam'a tıkladığı an) arasında.

    Örnek:

    IF:

    Belirtilen Değişiklikleri şu tarihten itibaren işlemeye başlayın: saati 10.00'dur.

    AND:

    Çalışanlar tablosuna saat 10.10'da Yaş adlı bir sütun eklendi.

    AND:

    Kullanıcı saat 10.15'te Gelişmiş Çalıştırma Seçenekleri iletişim kutusunda Tamam'a tıklar.

    THEN:

    Saat 10.00 ile 10.10 arasında gerçekleşen değişiklikler CDC hatalarına neden olabilir.

  Bilgi notu

  Yukarıdaki durumlardan herhangi birinde, verilerin hedefe düzgün bir şekilde moved işlemini yapabilmesi için etkilenen tabloların yeniden yüklenmesi gerekir.

• DDL deyimi ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> varsayılan değeri hedefe çoğaltmaz ve yeni/değiştirilmiş sütun NULL olarak ayarlanır. Sütunu ekleyen/değiştiren DDL, geçmişte yürütülmüş olsa bile bu durumun gerçekleşebileceğini unutmayın. Yeni/değiştirilen sütun null değer atanabilir ise kaynak uç noktası, DDL'nin kendisini günlüğe kaydetmeden önce tüm tablo satırlarını günceller. Sonuç olarak Qlik Talend Data Integration, değişiklikleri yakalar ancak hedefi güncellemez. Yeni/değiştirilmiş sütun NULL olarak ayarlandığından, hedef tabloda Birincil Anahtar/Benzersiz Dizin yoksa sonraki güncellemeler "sıfır satır etkilendi" mesajı oluşturur.

• TIMESTAMP ve DATE kesinlik sütunlarında yapılan değişiklikler yakalanmayacaktır.

Depolama ayarları

Veri platformu bir Qlik Açık Göl Evi olduğunda depolama veri görevinin özelliklerini ayarlayabilirsiniz.

• Ayarlar'a tıklayın.

Genel ayarlar

• Veritabanı

  Veri kaynağındaki kullanılacak veri kümesi.

• Görev şeması

  Depolama veri görevi şemasının adını değiştirebilirsiniz. Varsayılan ad, depolama görevinin adıdır.

• Dahili şema

  Dahili depolama veri varlığı şemasının adını değiştirebilirsiniz. Varsayılan ad, depolama görevinin sonuna _internal eklenmiş adıdır.

• Şema adının varsayılan büyük/küçük harf kullanımı

  Tüm şema adları için varsayılan büyük harf kullanımını ayarlayabilirsiniz. Veritabanınız büyük harf kullanımını zorlayacak şekilde yapılandırılmışsa bu seçenek etkili olmayacaktır.

• Tüm tablo ve görünümler için ön ek

  Bu görevle oluşturulan tüm tablolar ve görünümler için bir önek ayarlayabilirsiniz.

  Bilgi notuBir veritabanı şemasını birden fazla veri görevinde kullanmak istediğinizde benzersiz bir önek kullanmanız gerekir.

• Geçmiş

  Verileri belirli bir zamanda göründüğü şekilde kolayca yeniden oluşturabilmeniz için geçmiş verilerini tutabilirsiniz. Geçmiş verileri görmek için geçmiş görünümleri ve canlı geçmiş görünümleri kullanabilirsiniz. Geçmiş değişiklik verilerini etkinleştirmek için Geçmiş kayıtları ve geçmiş kayıtların arşivini sakla seçeneğini işaretleyin.

• Depolamayı yerleştirme ile karşılaştırırken yerleştirmede mevcut olmayan kayıtların nasıl yönetileceğini seçebilirsiniz.

  • Silindi olarak işaretle

    Bu, yerleştirmede mevcut olmayan kayıtlarda geçici bir silme gerçekleştirir.

  • Sakla

    Bu, yerleştirmede mevcut olmayan tüm kayıtları saklar.

  Bilgi notuDepolama veri görevindeki veri setlerinin birincil bir anahtarı olmalıdır. Yoksa, yerleştirme verileri her yeniden yüklendiğinde Depolama veri görevinde bir ilk yükleme gerçekleştirilir.

Çalıştırma zamanı ayarları

• Paralel yürütme

  Tam yüklemeler için bağlantıların maksimum sayısını 1 ile 5 arasında bir sayıya ayarlayabilirsiniz.

• Depo

  Bulut veri deposunun adı. Bu ayar yalnızca Snowflake için geçerlidir.

Katalog ayarları

• Katalogda yayınlama

  Verilerin bu sürümünü Katalogda veri kümesi olarak yayınlamak için bu seçeneği seçin. Katalog içeriği, bu görevi bir sonraki hazırlamanızda güncellenecek.

Katalog hakkında daha fazla bilgi için bkz. Katalog araçlarıyla verilerinizi anlama.

Şema değişimi

Şemada aşağıdaki DDL değişiklik türlerinin nasıl işleneceğini seçin. Şema değişimi ayarlarını değiştirdiğinizde görevi tekrar hazırlamanız gerekir. Aşağıdaki tabloda desteklenen DDL değişiklikleri için hangi eylemlerin mevcut olduğu açıklanmaktadır.

Depolama veri görevindeki işlemler

Görev menüsünden bir depolama veri görevinde aşağıdaki işlemleri gerçekleştirebilirsiniz.

• Aç

  Bu, depolama veri görevini açar. Tablo yapısını ve veri göreviyle ilgili ayrıntıları görüntüleyebilir, tam yükleme ve değişiklik gruplarının durumunu izleyebilirsiniz.

• Düzenle

  Görevin adını ve açıklamasını düzenleyebilir ve etiketler ekleyebilirsiniz.

• Sil

  Veri görevini silebilirsiniz.

• Hazırla

  Görevi yürütülmeye hazırlar. Şunlar dahildir:

  • Tasarımın geçerli olduğunu doğrulama.

  • Fiziksel tabloları ve görünümleri tasarımla eşleşecek şekilde oluşturma veya değiştirme.

  • Veri görevi için SQL kodunu oluşturma

  • Görev çıkışı veri kümeleri için katalog girişlerini oluşturma veya değiştirme.

  İlerlemeyi ekranın alt tarafındaki Hazırlığın ilerleme durumu altında takip edebilirsiniz.

Bilgi notuBir görevi hazırlamadan önce, doğrudan aşağı yönde olan tüm görevleri durdurun.

• Veri kümelerini doğrula

  Bu, veri görevine dahil edilen tüm veri setlerini doğrular.

  Tüm doğrulama hatalarını ve tasarım değişikliklerini görmek için Doğrula ve ayarla'yı genişletin.

• Tabloları yeniden oluştur

  Veri kümelerini kaynaktan yeniden oluşturur. Bir tabloyu yeniden oluştururken aşağı akış görevi, kaynak veri kümelerinde bir kesme ve yeniden yükleme işlemi gerçekleşmiş gibi tepki verecektir. Daha fazla bilgi için bk. Bir depolama veri görevi sorunlarını giderme.

• Durdur

  Veri görevinin çalışmasını durdurabilirsiniz. Veri görevi, tabloları güncellemeye devam etmez.

  Bilgi notuBu seçenek veri görevi çalışırken mevcuttur.

• Sürdür

  Bir veri görevinin çalışmasını durdurulduğu noktadan devam ettirebilirsiniz.

  Bilgi notuBu seçenek, veri görevi durdurulduğunda mevcuttur.

• Yansıtma verisi

  Qlik Açık Göl Evi tablolarını diğer veri platformlarına yansıtın. Bu bir Ayna veri görevi oluşturur.

  Verileri bir bulut veri deposuna yansıtma

Sınırlamalar

• Veri görevi veri setleri içeriyorsa ve bağlantıdaki herhangi bir parametreyi; örneğin kullanıcı adını, veritabanını veya şemayı değiştirirseniz, varsayım verilerin yeni konumda mevcut olduğudur. Durum bu değilse, şunlardan birini yapabilirsiniz:

  • Kaynaktaki verileri yeni konuma taşıyın.

  • Aynı ayarlarla yeni bir veri görevi oluşturun.