Veri platformunda zaten mevcut olan verileri kaydetme

Verileri iyileştirmek, dönüştürmek ve veri ambarları oluşturmak için veri platformunda halihazırda mevcut olan verileri kaydedebilirsiniz. Bu, Qlik Talend Data Integration dışındaki diğer araçlarla buluta alınan verileri kullanmanıza olanak tanır (ör. Qlik Replicate veya Stitch).

Veri kaydettiğinizde iki veri görevi oluşturulur.

• Kayıtlı veriler

  Verilerin kaydedilmesi, verileri veri kümeleri oluşturmaya hazır hale getirmek için görünüm oluşturmayı içerir.

• Depolama

  Buna, kayıtlı verilere bağlı olarak veri kümeleri oluşturma ve saklama dahildir.

  Veri kümelerini saklama

Verileri kaydettiğinizde oluşturulan veri kümelerini birkaç şekilde kullanabilirsiniz.

• Veri kümelerini bir analiz uygulamasında kullanabilirsiniz.

• Dönüşümler oluşturabilirsiniz.

• Bir veri ambarı oluşturabilirsiniz.

Verileri kaydet

Projede tanımlanan bulut veri deposunda mevcut olan verileri kaydedebilirsiniz. Oluşturulan veri kümeleri, aynı bulut veri deposunda saklanır.

Projeler hakkında daha fazla bilgi için bkz. Bir veri işlem hattı oluşturma.

1. Bir projede Yeni ekle'ye ve ardından Veri kaydet'e tıklayın.

2. Veri görevi için Ad ve Açıklama ekleyin.

   İleri'ye tıklayın.

3. Kaydedilecek veriyi seçin.

   Dahil edilecek verileri seçme

   İleri'ye tıklayın.

   Ayarlar görüntülenir.

4. Güncelleme yöntemi'nde verilerin nasıl güncelleneceğini seçin.

   Veriler Qlik Replicate veya Stitch ile çoğaltılırsa yüksek filigran kullanarak Artımlı seçeneğini belirleyin.

   • Üst eşik deseni kullanarak veri değişikliklerini artımlı olarak işlemek için Üst eşik kullanarak artımlı seçeneğini kullanın. Bu, veriler Qlik Replicate (Tam yükleme ve depolama değişiklikleri etkinken) veya Stitch ile çoğaltılıyorsa önerilen yöntemdir.

     Güncelleme yöntemi

   • Veriler yalnızca bir kez yüklendiğinde veya tam yeniden yüklemeler kullanılarak güncellendiğinde Geçerli depolama ile karşılaştır seçeneğini kullanın.

5. Özet içinde oluşturulan iki veri görevinin ön izlemesini yapın ve istiyorsanız bunları yeniden adlandırın.

   İpucu notuAdlar, depolama veri görevinde veritabanı şemaları adlandırılırken kullanılır. Bir şema yalnızca bir görev ile ilişkili olabileceğinden, aynı veri platformunu kullanan başka projelerdeki veri görevleri ile çakışmalardan kaçınmak için benzersiz adlar kullanmayı düşünün.

6. Kayıtlı veri görevini açmayı mı yoksa projeye geri dönmeyi mi istediğinizi seçin.

   Hazır olduğunuzda Son'a tıklayın.

Şu anda iki veri görevi oluşturuldu. Veri çoğaltmaya başlamak için yapmanız gerekenler:

• Kayıtlı veri görevini hazırlayın.

  Veri görevinde Hazırla'ya tıklayın.

  Yapıtlar oluşturulduktan sonra, veri görevi durumu Kayıtlı olur.

• Depolama veri görevini hazırlayıp çalıştırın.

  Daha fazla bilgi için bk. Veri kümelerini saklama

Dahil edilecek verileri seçme

Dahil edilecek verileri seçtiğinizde, belirli tabloları veya görünümleri seçebilir ya da tablo gruplarını dahil etmek veya hariç tutmak için seçim kurallarını kullanabilirsiniz.

Şemalara ve tablolara yönelik seçim ölçütleri tanımlamak için joker karakter olarak % kullanın.

• %.% tüm tablolardaki tüm şemaları tanımlar.

• Public.%, Public içindeki tüm şemaları tanımlar.

Seçim ölçütleri seçimlerinize bağlı olarak size bir önizleme sunar.

Artık şunları yapabilirsiniz:

• Seçim kriterlerine göre bir grup tabloyu dahil etmek veya hariç tutmak için bir kural seçin.

  Kural oluşturmak için Seçim kriterlerinden kural ekle'ye tıklayın ve Dahil et'i veya Hariç tut'u seçin.

  Kuralı Seçim kuralları altında görebilirsiniz.

• Bir veya daha fazla veritabanını seçin ve Seçili veri kümelerini ekle'ye tıklayın.

  Eklenen veri kümelerini Açık olarak seçilen veri kümeleri altında görebilirsiniz.

Seçim kuralları yalnızca geçerli tablo ve görünüm kümesine uygulanır; gelecekte eklenen tablo ve görünümlere uygulanmaz.

Meta veriler yenileniyor

Görevin Tasarım görünümündeki kaynağın meta verilerindeki değişikliklerle hizalanması için görevdeki meta verileri yenileyebilirsiniz. Metadata manager'ın kullanıldığı SaaS uygulamalarında, veri görevinde meta verileri yenileyebilmeniz için önce Metadata manager'ın yenilenmesi gerekir.

1. Seçenekleriniz:

   • Görevdeki tüm veri kümelerinin meta verilerini yenilemek için ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   • Tek bir veri kümesindeki meta verilerini yenilemek için Veri kümeleri bölümündeki bir veri kümesinde ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   Ekranın alt kısmındaki Meta verileri yenile seçeneğinin altında meta verilerin yenilenme durumunu görüntüleyebilirsiniz. İmleci üzerine getirerek meta verilerin en son yenilendiği zamanı görebilirsiniz.

2. Değişiklikleri uygulamak için veri görevini hazırlayın.

   Veri görevini hazırladığınızda ve değişiklikler uygulandığında değişiklikler Meta verileri yenile kısmından kaldırılır.

Değişiklikleri çoğaltmak için bu görevi kullanan depolama görevlerini hazırlamanız gerekir.

Bir sütun kaldırılırsa depolamanın geçmiş verileri kaybetmemesi için Null değerleri içeren bir dönüşüm eklenir.

Sınırlamalar

• Bundan önce aynı zaman aralığında kullanımdan kaldırılmış bir sütunla yeniden adlandırma, aynı veri türüne ve veri uzunluğuna sahipse kullanımdan kaldırılan sütun yeniden adlandırmasına dönüştürülür.

  Örnek:  

  Önce: a b c d

  Sonra: a c1 d

  Bu örnekte b kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmış ve b ile c aynı veri türüne ve veri uzunluğuna sahiptir.

  Bu, b'nin c1 olarak yeniden adlandırılması ve c'nin kullanımdan kaldırılması olarak tanımlanacaktır.

• Son sütun kullanımdan kaldırılsa ve ondan önceki yeniden adlandırılsa bile son sütun yeniden adlandırması algılanmaz.

  Örnek:  

  Önce: a b c d

  Sonra: a b c1

  Bu örnekte d kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmıştır.

  Bu, c ve d'nin kullanımdan kaldırılması ve c1'in eklenmesi olarak tanımlanacaktır.

• Sona yeni sütunların ekleneceği varsayılır. Sütunlar sonraki sütun olarak aynı veri türüyle ortaya eklenirse kullanımdan kaldırma ve yeniden adlandırma olarak yorumlanabilirler.

Kayıtlı veri ayarları

Kayıtlı veri görevi için özellikleri ayarlayabilirsiniz.

• Ayarlar'a tıklayın.

Genel ayarlar

• Veritabanı

  Hedefte kullanılacak veritabanı.

• Görev şeması

  Veri görevi şemasının adını değiştirebilirsiniz.

• Tüm tablo ve görünümler için ön ek

  Bu görevle oluşturulan tüm tablolar ve görünümler için bir önek ayarlayabilirsiniz.

  Bilgi notuBir veritabanı şemasını birden fazla veri görevinde kullanmak istediğinizde benzersiz bir önek kullanmanız gerekir.

Güncelleme yöntemi

Değişim algılama

• Veriler yalnızca bir kez yüklendiğinde veya tam yeniden yüklemeler kullanılarak güncellendiğinde Geçerli depolama ile karşılaştır seçeneğini kullanın.

• Üst eşik yöntemini kullanarak veri değişikliklerini artımlı olarak işlemek için Üst eşik kullanarak artımlı seçeneğini kullanın.

  Bu seçenek, tüm tablolarda bir birincil anahtar tanımlanmış olmasını gerektirir. Birincil anahtarı eksik olan tablolar için Veri Kümeleri görünümünde manuel olarak bir birincil anahtar tanımlayabilirsiniz.

Artımlı yükleme ayarları

Bu ayarlar, Üst eşik kullanarak artımlı seçildiğinde kullanılabilir.

• Veriler, Tam yük ve depolama değişikliklerine sahip bir Qlik Replicate görevi tarafından çoğaltılıyorsa Artımlı yükleme ayarlarını Qlik Replicateayarlara ayarlayın.

• Veriler bir Stitch veri işlem hattı ile çoğaltılırsa ve kaynak tablolarınızda birincil bir anahtar tanımlanmışsa Artımlı yükleme ayarları'nı Stitch varsayılan ayarları olarak ayarlayın.

• Aksi takdirde, Artımlı yükleme ayarlarını Özel olarak ayarlayın ve ayarları kendiniz tanımlayın.

Katalog ayarları

• Katalogda yayınlama

  Verilerin bu sürümünü Katalogda veri kümesi olarak yayınlamak için bu seçeneği seçin. Katalog içeriği, bu görevi bir sonraki hazırlamanızda güncellenecek.

Katalog hakkında daha fazla bilgi için bkz. Katalog araçlarıyla verilerinizi anlama.

Önerilen Qlik Replicate yapılandırması

Bu Qlik Replicate görev ayarlarının, değişiklikleri saklayan bir Qlik Replicate görevi kullanılarak çoğaltılan verileri kaydederken kullanılması önerilir.

• Qlik Replicate görevi, Tam Yük ve Değişiklikleri Sakla seçenekleriyle yapılandırılmalıdır.

• Değişiklikleri Sakla Ayarları > Değişiklik Tabloları bölümünde, aşağıdaki değişiklik tablosu sütunlarının, varsayılan adları kullanılarak dahil edildiğinden emin olun:

  • [header__]change_seq

  • [header__]change_oper

  • [header__] timestamp

• Değişiklikleri Sakla Ayarları > Değişiklik Tabloları bölümünde, GÜNCELLEME sırasında'yı Yalnızca resimden sonra sakla'ya ayarlayın.

  Önceki resim dahil edilmediğinden bu, her güncelleme için alanı azaltır. Önceki resmi kullanmayı planlamıyorsanız bu seçeneği kullanın.

• Değişiklikleri Sakla Ayarları > Değişiklik Tabloları bölümünde, Sok ek'i varsayılan değer olan __ct olarak ayarlayın.

• Aşağıdaki global dönüştürmeleri uygulamayın:

  • Değişiklik Tablosunu Yeniden Adlandır

  • Değişiklik Tablosunu Yeniden Adlandır Şeması

• Bir kaynak tablodaki birincil anahtar güncellenebilirse Değişiklik İşleme Ayarlaması'nda bir birincil anahtar sütunu seçeneğini güncellerken SİL ve EKLE'yi etkinleştirin.

  Eski kaydın geçmişi, yeni kayıtta korunmaz.

  Bilgi notuBu seçenek, Qlik Replicate Kasım 2022'den itibaren desteklenmektedir.

Kayıtlı veri görevindeki işlemler

Görev menüsünden bir kayıtlı veri görevinde aşağıdaki işlemleri gerçekleştirebilirsiniz.

• Aç

  Bu, veri görevini açar. Tablo yapısını ve veri görevinin ayrıntılarını görüntüleyebilirsiniz.

• Düzenle

  Görevin adını ve açıklamasını düzenleyebilir ve etiketler ekleyebilirsiniz.

• Sil

  Veri görevini silebilirsiniz.

  Kaynak veri silinmedi.

• Veritabanlarını eşitle

  Otomatik olarak ayarlanamayan tasarım değişikliklerini senkronize eder.

• Tabloları yeniden oluştur

  Veri kümelerini kaynaktan yeniden oluşturur.

• Verileri depola

  Bu yerleştirme veri görevindeki verileri kullanan bir depolama veri görevi oluşturabilirsiniz.

"Başlangıç tarihi" sütunu ayarlanırken dikkat edilmesi gereken hususlar

Bir aşağı akış görevinde geçmiş veriler etkinleştirilirse ve bir "Başlangıç tarihi" sütunu kullanırsanız geriye dönük tarihleme desteklenmez. Bu, bir değişiklik yığınının depoda bulunmayan bir kaydın eski bir sürümünü içermesi durumunda, değişiklik yığınının kaydın tüm yeni sürümlerini de içermesi gerektiği anlamına gelir. Daha yeni sürümler dahil edilmezse silineceklerdir.

Bu örneklerde, depolama alanı bu kayıtları en başından itibaren içerir:

Örnek 1:  

Aşağıdaki değişiklik grubunu eklerseniz:

Depolamadaki sonuç beklendiği gibidir:

Örnek 2:  

Ancak aşağıdaki eski kaydı bir değişiklik grubuna eklerseniz:

Bu da daha yeni kayıtların depodan kaldırılmasına neden olur:

Örnek 3:  

Geçmişi korumak için değişiklik grubu yeni kayıtları içermelidir:

Bu, geçmişin depoda da korunmasını sağlayacaktır:

Dikkat edilmesi gereken noktalar

• Stitch çoğaltmasında geçmiş seçeneğini kullanmayın. Geçmiş verileri Qlik Talend Data Integration içinde tutmak için seçenekleri kullanın.

Veri kapasitesiyle ilgili önemli hususlar

• Kayıtlı bir tablonun birincil anahtarı yoksa, her çalıştırma için tam bir yeniden yükleme yürütülür. Bu, aylık kayıtlı veri kapasitesi kotanıza dahil edilir. Bunun nedeni, depolamanın değişiklikleri bulmak için tüm kayıtları karşılaştırması gerekeceğidir.

• Kayıtlı veriler için veri kapasitesi depolamada sayılır. Bu, kayıtlı verilerdeki bir silme işleminin, depolamanın eklenmesine veya güncellenmesine çevrildiği (geçici silme) ve veri kapasitesinde sayıldığı anlamına gelir.

• Kayıtlı verilerdeki bir tablo iki depolama veri görevinde kullanılıyorsa geçici silme, ekleme ve güncelleme işlemleri veri kapasitesi için iki kez sayılır.