Standard, Premium veya Enterprise abonelikle verileri çoğaltma

Bir çoğaltma görevi ayarlamak için:

1. Veri Entegrasyonu > Projeler bölümünde Proje oluştur'a tıklayın.

2. Yeni proje iletişim kutusunda aşağıdakileri yapın:

   1. Projeniz için bir Ad girin.
   2. Projenin oluşturulmasını istediğiniz Alanı seçin.
   3. İsteğe bağlı olarak bir Açıklama girin.
   4. Kullanım durumu olarak Çoğaltma'yı seçin.
   5. İsteğe bağlı olarak, herhangi bir ayar yapılandırmadan boş bir proje oluşturmak istiyorsanız Aç onay kutusunun işaretini kaldırın.

   6. Oluştur'a tıklayın.

      Aşağıdakilerden biri gerçekleşecektir:

      • Yeni proje iletişim kutusundaki Aç onay kutusu seçildiyse (varsayılan) proje açılır.
      • Yeni proje iletişim kutusundaki Aç onay kutusunun işaretini kaldırdıydıysanız proje, projeler listenize eklenecektir. Projeyi daha sonra proje menüsünden Aç seçeneğini belirleyerek açabilirsiniz.

3. Proje açıldıktan sonra Verileri çoğalt'a tıklayın.

   Veri çoğaltma sihirbazı açılır.

4. Genel sekmesinde, çoğaltma görevi için bir ad ve açıklama belirtin. Ardından İleri'ye tıklayın.

5. Kaynak bağlantı seç sekmesinde, kaynak verilere bir bağlantı seçin. İsteğe bağlı olarak Eylemler sütunundaki menüden Düzenle'yi seçerek bağlantı ayarlarını düzenleyebilirsiniz.

   Kaynak verilerle henüz bir veri bağlantı oluşturmadıysanız sekmenin sağ üst köşesindeki Bağlantı oluştur seçeneğine tıklayarak bir bağlantı oluşturmanız gerekir.

   Sol taraftaki filtreleri kullanarak bağlantı listesini filtreleyebilirsiniz. Bağlantılar kaynak türüne, ağ geçidine, alana ve sahibine göre filtrelenebilir. Bağlantılar listesinin üzerindeki Tüm filtreler düğmesi geçerli filtrelerin sayısını gösterir. Soldaki Filtreler panelini kapatmak veya açmak için bu düğmeyi kullanabilirsiniz. Şu anda etkin olan filtreler de mevcut bağlantılar listesinin üzerinde gösterilir.

   Ayrıca, sağdaki açılır listeden Son değiştirilme, Son oluşturulma veya Alfabetik'i seçerek listeyi sıralayabilirsiniz. Sıralama düzenini değiştirmek için listenin sağındaki oka tıklayın.

   Bir veri kaynağı bağlantısı seçtikten sonra, isteğe bağlı olarak sekmenin (önerilir) sağ üst kısmındaki Bağlantıyı test et seçeneğine ve ardından İleri seçeneğine tıklayın.

6. Veri kümelerini seç sekmesinde, çoğaltma görevine dahil edilecek tabloları ve/veya görünümleri seçin. Ayrıca joker karakterler kullanabilir ve Veritabanından veri seçme bölümünde açıklandığı gibi seçim kuralları oluşturabilirsiniz.

7. Hedef bağlantı seç sekmesinde, kullanılabilir bağlantılar listesinden hedefini seçin ve ardından İleri'ye tıklayın. İşlevsellik açısından bu sekme, daha önce açıklanan Kaynak bağlantı seç sekmesiyle aynıdır.

8. Ayarlar sekmesinde, isteğe bağlı olarak aşağıdaki ayarları değiştirin ve ardından İleri'ye tıklayın.

   Çoğaltma modu

   Bilgi notuSaaS uygulama kaynaklarından çoğaltma yaparken, Tam yük çoğaltma modu varsayılan olarak etkindir ve devre dışı bırakılamaz.
   • Tam yük: Verileri seçilen kaynak tablolardan hedef platforma yükler ve gerekirse hedef tabloları oluşturur. Tam yük, görev başlatıldığında otomatik olarak gerçekleşir ancak ihtiyaç duyulması halinde manuel olarak da gerçekleştirilebilir.

   • Değişiklikleri uygula: Hedef tabloları, kaynak tablolarda yapılan değişikliklerle güncel tutar.

   • Değişiklikleri sakla: Kaynak tablolardaki değişiklikleri Değişiklik Tablolarında saklar (kaynak tablo başına bir tane).

     Daha fazla bilgi için bk. Değişiklikleri sakla.

   Veri Hareketi ağ geçidi ile çalışırken değişiklikler, kaynaktan neredeyse gerçek zamanlı olarak yakalanır. Veri Hareketi ağ geçidi olmadan çalışırken (bağlayıcı ayarlarında Veri ağ geçidi'ni Hiçbiri olarak ayarlayarak) değişiklikler, zamanlayıcı ayarlarına göre yakalanır. Varsayılan değişiklik yakalama aralığı altı saatte birdir. Daha fazla bilgi için bk. Veri Hareketi ağ geçidi olmadan çalışırken görevleri zamanlama.

   Değişiklikleri uygula modu

   Bilgi notuVeri deposu hedeflerine çoğaltırken kullanılacak Değişiklikleri uygula modunu seçemezsiniz. Maksimum verimlilik için değişiklikler her zaman Toplu iyileştirme modunda uygulanacaktır.

   Değişiklikler hedef tablolara aşağıdaki yöntemlerden biri kullanılarak uygulanır:

   • Toplu iş optimize edildi: Bu varsayılandır. Bu seçenek belirlendiğinde, değişiklikler toplu olarak uygulanır. İşlemleri en verimli şekilde toplu olarak gruplamak için bir ön işleme eylemi gerçekleştirilir.
   • İşlemsel: Her bir işlemi işlendiği sırayla tek tek uygulamak için bu seçeneği belirleyin. Bu durumda, tüm tablolar için katı referans bütünlüğü sağlanır.

   Hazırlama alanına bağlantı

   Aşağıda listelenen veri deposuna çoğaltma yaparken bir hazırlama alanı ayarlamanız gerekir. Veriler, depoya aktarılmadan önce hazırlama alanında işlenir ve hazırlanır.

   • Amazon Redshift
   • Microsoft Fabric
   • Databricks

   Mevcut bir hazırlama alanını seçin veya yeni bir hazırlama alanı tanımlamak için Yeni oluştur'a tıklayın ve Bulut depolamasına bağlanma bölümündeki talimatları takip edin.

   Bağlantı ayarlarını düzenlemek için Düzenle'ye tıklayın. Bağlantıyı test etmek için (önerilir) Test bağlantısı'na tıklayın.

   Hangi veri depolarıyla hangi hazırlama alanlarının desteklendiği hakkında bilgi almak için Hedef platform kullanım durumları ve desteklenen sürümler içindeki Hazırlama alanı olarak desteklenir sütununa bakın.

   Çoğaltma zamanlayıcısı

   Bilgi notuBu ayar yalnızca Veri Hareketi ağ geçidi olmadan veri kaynaklarına erişirken faydalıdır. Veri Hareketi ağ geçidi avantajları ve bunu gerektiren kullanım durumları hakkında bilgi için bkz. Qlik Data Gateway - Veri Hareketi.

   • Verileri çoğaltma sıklığı: Veri kaynağından değişikliklerin hangi sıklıkla yakalanacağını planlayabilir ve Başlangıç saati ve Başlangıç tarihi ayarlayabilirsiniz. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) destekliyorsa yalnızca kaynak verilerindeki değişiklikler çoğaltılacak ve ilgili hedef tablolara uygulanacaktır. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) desteklemiyorsa değişiklikler tüm kaynak verilerinin ilgili hedef tablolara yüklenerek uygulanacaktır. Kaynak veri kümelerinden bazıları CDC'yi destekliyor, bazıları desteklemiyorsa iki ayrı alt görev oluşturulacaktır (Değişiklikleri uygula olduğu veya Değişiklikleri sakla çoğaltma seçeneklerinin seçildiği varsayılır): Biri, CDC'yi desteklemeyen veri kümelerini yeniden yüklemek, diğeri CDC'yi desteklemeyen veri kümelerindeki değişiklikleri yakalamak içindir.

     Görev kurulumu sihirbazı, basit bir saatlik aralık zamanlamanıza olanak tanır. Görev kurulumunu tamamladığınızda Veri Hareketi ağ geçidi olmadan çalışırken görevleri zamanlama bölümünde açıklandığı gibi farklı zamanlama seçeneklerini keşfedebilirsiniz.

   Veri kaynağı türü ve abonelik kademesine göre minimum zamanlama aralıkları hakkında bilgi için bkz. İzin verilen minimum zamanlama aralıkları.

9. Özet sekmesinde, veri hattının bir görseli görüntülenir. Seçilen veri kümelerinin bazıları CDC'yi desteklemiyorsa iki işlem hattı görüntülenecektir: biri CDC görevi, diğeri Yeniden yükleme görevi için. <name> veri görevini aç veya Hiçbir şey yapma seçeneklerinden birini seçin ve ardından Oluştur'a tıklayın.

   Seçiminize bağlı olarak ya görev açılacak ya da projelerin bir listesi görüntülenecektir.

10. Görevi açmayı seçtiyseniz Veri Kümeleri sekmesi seçilen kaynak tablolarının yapısını ve meta verilerini gösterecektir. Bu, açıkça listelenen tüm tabloların yanı sıra seçim kurallarıyla eşleşen tabloları da içerir.

    Veri kaynağından daha fazla tablo eklemek isterseniz, Kaynak verilerini seç'e tıklayın.

11. İsteğe bağlı olarak, görev ayarını Veri çoğaltma görevi ayarları bölümünde açıklandığı gibi değiştirin.

12. Veri setlerinde dönüştürmeler gerçekleştirebilir, verileri filtreleyebilir veya sütunlar ekleyebilirsiniz.

    Daha fazla bilgi için bk. Veri kümelerini yönetme.

13. İstediğiniz dönüşümleri eklediğinizde Veri kümelerini doğrula'ya tıklayarak veri kümelerini doğrulayabilirsiniz. Doğrulama başarısız olursa devam etmeden önce hataları giderin.

    Veri kümelerini doğrulama ve ayarlama

14. Hazır olduğunuzda, veri görevini kataloğa alıp yürütme için hazırlamak üzere Hazırla'ya tıklayın.

15. Veri görevi hazırlandığında Çalıştır'a tıklayın.

    Görevlerin kurtarılması ve diğer görev çalıştırma yöntemleri hakkında bilgi için bk. Gelişmiş çalıştırma seçenekleri.

16. Artık çoğaltma görevi başlayacaktır. İlerlemeyi İzle'de görebilirsiniz. Daha fazla bilgi için bk. Ayrı bir veri görevini izleme

Veri setleri için yükleme önceliği ayarlama

Her bir veri setine bir yükleme önceliği atayarak veri görevinizde veri setlerinin yükleme sırasını kontrol edebilirsiniz. Bu, örneğin büyük veri setlerinden önce daha küçük veri setlerini yüklemek isterseniz faydalı olabilir.

1. Yükleme önceliği'ne tıklayın.

2. Her bir veri seti için bir yükleme önceliği seçin.

   Varsayılan yükleme önceliği Normal'dir. Veri setleri aşağıdaki öncelik sırasında göre yüklenecektir:

   • En yüksek

   • Daha yüksek

   • Yüksek

   • Normal

   • Düşük

   • Daha düşük

   • En düşük

   Aynı önceliğe sahip veri setleri belirli bir sıra olmadan yüklenir.

3. OK düğmesine tıklayın.

Meta veriler yenileniyor

Görevin Tasarım görünümündeki kaynağın meta verilerindeki değişikliklerle hizalanması için görevdeki meta verileri yenileyebilirsiniz. Metadata manager'ın kullanıldığı SaaS uygulamalarında, veri görevinde meta verileri yenileyebilmeniz için önce Metadata manager'ın yenilenmesi gerekir.

1. Seçenekleriniz:

   • Görevdeki tüm veri kümelerinin meta verilerini yenilemek için ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   • Tek bir veri kümesindeki meta verilerini yenilemek için Veri kümeleri bölümündeki bir veri kümesinde ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   Ekranın alt kısmındaki Meta verileri yenile seçeneğinin altında meta verilerin yenilenme durumunu görüntüleyebilirsiniz. İmleci üzerine getirerek meta verilerin en son yenilendiği zamanı görebilirsiniz.

2. Değişiklikleri uygulamak için veri görevini hazırlayın.

   Veri görevini hazırladığınızda ve değişiklikler uygulandığında değişiklikler Meta verileri yenile kısmından kaldırılır.

Değişiklikleri çoğaltmak için bu görevi kullanan depolama görevlerini hazırlamanız gerekir.

Bir sütun kaldırılırsa depolamanın geçmiş verileri kaybetmemesi için Null değerleri içeren bir dönüşüm eklenir.

Meta verileri yenileme ile ilgili sınırlamalar

• Bundan önce aynı zaman aralığında kullanımdan kaldırılmış bir sütunla yeniden adlandırma, aynı veri türüne ve veri uzunluğuna sahipse kullanımdan kaldırılan sütun yeniden adlandırmasına dönüştürülür.

  Örnek:  

  Önce: a b c d

  Sonra: a c1 d

  Bu örnekte b kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmış ve b ile c aynı veri türüne ve veri uzunluğuna sahiptir.

  Bu, b'nin c1 olarak yeniden adlandırılması ve c'nin kullanımdan kaldırılması olarak tanımlanacaktır.

• Son sütun kullanımdan kaldırılsa ve ondan önceki yeniden adlandırılsa bile son sütun yeniden adlandırması algılanmaz.

  Örnek:  

  Önce: a b c d

  Sonra: a b c1

  Bu örnekte d kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmıştır.

  Bu, c ve d'nin kullanımdan kaldırılması ve c1'in eklenmesi olarak tanımlanacaktır.

• Sona yeni sütunların ekleneceği varsayılır. Sütunlar sonraki sütun olarak aynı veri türüyle ortaya eklenirse kullanımdan kaldırma ve yeniden adlandırma olarak yorumlanabilirler.

Şema değişimi

Şema değişimi, birden fazla veri kaynağındaki yapısal değişiklikleri kolayca tespit etmenize ve ardından bu değişikliklerin görevinize nasıl uygulanacağını kontrol etmenize olanak tanır. Şema değişimi, kaynak veri şemasında yapılan DDL değişikliklerini tespit etmek için kullanılabilir. Bazı değişiklikleri otomatik olarak da uygulayabilirsiniz.

Her değişiklik türü için, görev ayarlarının Şema değişimi bölümünde değişikliklerin nasıl ele alınacağını seçebilirsiniz. Değişikliği uygulayabilir, değişikliği yok sayabilir, tabloyu askıya alabilir veya görev işlemeyi durdurabilirsiniz.

Her değişiklik türü için DDL değişikliğini işlemek üzere hangi eylemin kullanılacağını ayarlayabilirsiniz. Bazı eylemler tüm değişiklik türleri için mevcut değildir.

• Hedefe uygula

  Değişiklikleri otomatik olarak uygulayın.

• Yoksay

  Değişiklikleri görmezden gelin.

• Tabloyu askıya al

  Tabloyu askıya alın. Tablo, İzleme'de hatalı olarak görüntülenecektir.

• Görevi durdurun

  Görevin işlenmesini durdurun. Bu, tüm şema değişikliklerini manuel olarak işlemek istiyorsanız kullanışlıdır. Bu zamanlamayı da durduracaktır, yani zamanlanmış çalıştırmalar gerçekleştirilmeyecektir.

Aşağıdaki değişiklikler desteklenmektedir:

• Sütun ekle

• Sütunu yeniden adlandır

• Sütun veri türünü değiştir

• Tabloyu bırak

• Sütunu bırak

• Seçim deseniyle eşleşen tablo ekleme
  

  Bir desenle eşleşen veri kümeleri eklemek için bir Seçim kuralı kullandıysanız desene uyan yeni tablolar algılanacak ve eklenecektir.

Görev ayarları hakkında daha fazla bilgi için bkz. Şema değişimi.

Şema evrimi ile işlenen değişiklikler hakkında da bildirim alabilirsiniz. Daha fazla bilgi için bk. Çalışma değişiklikleriyle ilgili bildirim ayarlama.

Şema değişimi ile ilgili sınırlamalar

Şema değişimi için aşağıdaki sınırlamalar geçerlidir:

• Şema değişimi yalnızca güncelleme yöntemi olarak CDC kullanıldığında desteklenir.

• Şema değişimi ayarlarını değiştirdiğinizde görevi tekrar hazırlamanız gerekir.

• Tabloları yeniden adlandırırsanız şema değişimi desteklenmez. Bu durumda, görevi hazırlamadan önce meta verileri yenilemeniz gerekir.

• Bir görev tasarlıyorsanız şema değişimi değişikliklerini almak için tarayıcıyı yenilemeniz gerekir. Değişikliklerle ilgili uyarı almak için bildirimler ayarlayabilirsiniz.

• Yerleştirme görevlerinde bir sütunun bırakılması desteklenmez. Bir sütunun bırakılması ve eklenmesi tablo hatasına neden olur.

• Yerleştirme görevlerinde, tabloyu bırakma işlemi tabloyu bırakmaz. Bir tablonun bırakılması ve ardından bir tablo eklenmesi yalnızca eski tabloyu kesecek ve yeni bir tablo eklenmeyecektir.

• Bir sütunun uzunluğunun değiştirilmesi, hedef veritabanındaki desteğe bağlı olarak tüm hedefler için mümkün değildir.

• Bir sütun adı değiştirilirse o sütun kullanılarak tanımlanan açık dönüşümler, sütun adına dayalı oldukları için etkili olmayacaktır.

• Meta verileri yenileme ile ilgili sınırlamalar şema değişimi için de geçerlidir.

DDL değişikliklerini yakalarken aşağıdaki sınırlamalar geçerlidir:

• Kaynak veritabanında hızlı bir işlem dizisi gerçekleştiğinde (örneğin, DDL>DML>DDL) Qlik Talend Data Integration, günlüğü yanlış sırada ayrıştırarak eksik verilere veya öngörülemeyen davranışlara neden olabilir. Bunun gerçekleşme olasılığını en aza indirmek için en iyi uygulama, bir sonraki işlemi gerçekleştirmeden önce değişikliklerin hedefe uygulanmasını beklemektir.

  Bunun bir örneği olarak, değişiklik yakalama sırasında, bir kaynak tablo hızlı bir şekilde art arda birden fazla kez yeniden adlandırılırsa (ve ikinci işlem onu orijinal adına geri döndürürse) tablonun hedef veritabanında zaten var olduğuna dair bir hatayla karşılaşılabilir.

• Bir görevde kullanılan tablonun adını değiştirir ve ardından görevi durdurursanız görev yeniden başlatıldıktan sonra Qlik Talend Data Integration, bu tabloda yapılan değişiklikleri yakalayamaz.

• Bir görev durdurulmuşken kaynak tablonun yeniden adlandırılması desteklenmez.

• Bir tablonun Birincil Anahtar sütunlarının yeniden tahsis etmesi desteklenmez (ve bu nedenle DDL Geçmiş Kontrol tablosuna yazılmaz).
• Bir sütunun veri türü değiştirildiğinde ve (aynı) sütun daha sonra görev durdurulurken yeniden adlandırıldığında DDL değişikliği, DDL Geçmişi Kontrol tablosunda "Sütunu Bırak" ve ardından görev yeniden başlatıldığında "Sütun Ekle" olarak görünecektir. Aynı davranışın uzun süreli gecikmenin bir sonucu olarak da ortaya çıkabileceğini unutmayın.
• Bir görev durdurulurken kaynak üzerinde gerçekleştirilen CREATE TABLE işlemleri, görev devam ettirildiğinde hedefe uygulanır, ancak DDL Geçmişi Kontrol tablosuna DDL olarak kaydedilmez.

• Meta veri değişiklikleriyle ilişkili işlemler (ALTER TABLE, reorg, kümelenmiş bir dizini yeniden oluşturma vb. gibi), aşağıdakilerden birinde gerçekleştirilirse öngörülemeyen davranışlara neden olabilir:

  • Tam Yük Sırasında

    -VEYA-

  • Değişiklikleri şu tarihten itibaren işlemeye başlayın: zaman damgası ile geçerli saat (yani kullanıcının Gelişmiş Çalıştırma Seçenekleri iletişim kutusunda Tamam'a tıkladığı an) arasında.

    Örnek:

    IF:

    Belirtilen Değişiklikleri şu tarihten itibaren işlemeye başlayın: saati 10.00'dur.

    AND:

    Çalışanlar tablosuna saat 10.10'da Yaş adlı bir sütun eklendi.

    AND:

    Kullanıcı saat 10.15'te Gelişmiş Çalıştırma Seçenekleri iletişim kutusunda Tamam'a tıklar.

    THEN:

    Saat 10.00 ile 10.10 arasında gerçekleşen değişiklikler CDC hatalarına neden olabilir.

  Bilgi notu

  Yukarıdaki durumlardan herhangi birinde, verilerin hedefe düzgün bir şekilde moved işlemini yapabilmesi için etkilenen tabloların yeniden yüklenmesi gerekir.

• DDL deyimi ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> varsayılan değeri hedefe çoğaltmaz ve yeni/değiştirilmiş sütun NULL olarak ayarlanır. Sütunu ekleyen/değiştiren DDL, geçmişte yürütülmüş olsa bile bu durumun gerçekleşebileceğini unutmayın. Yeni/değiştirilen sütun null değer atanabilir ise kaynak uç noktası, DDL'nin kendisini günlüğe kaydetmeden önce tüm tablo satırlarını günceller. Sonuç olarak Qlik Talend Data Integration, değişiklikleri yakalar ancak hedefi güncellemez. Yeni/değiştirilmiş sütun NULL olarak ayarlandığından, hedef tabloda Birincil Anahtar/Benzersiz Dizin yoksa sonraki güncellemeler "sıfır satır etkilendi" mesajı oluşturur.

• TIMESTAMP ve DATE kesinlik sütunlarında yapılan değişiklikler yakalanmayacaktır.

Otomatik olarak uygulanmayan değişiklikleri işleme

Bu, hedefe uygulanamayan, yani eylemin Yoksay, Askıya Al veya Görevi Durdur olduğu değişikliklerin nasıl işleneceğini açıklar.

Verileri çoğaltırken sınırlamalar ve dikkate alınacak noktalar

Dönüşümler aşağıdaki sınırlamalara tabidir:

• Dönüşümler, sağdan sola dillerin bulunduğu sütunlar için desteklenmez.

• Dönüşümler, adında özel karakterler (ör. #, \, /, -) bulunan sütunlarda gerçekleştirilemez.

• LOB/CLOB veri türleri için desteklenen tek dönüşüm, hedefteki sütunu kullanımdan kaldırmaktır.
• Bir sütunu yeniden adlandırmak ve ardından aynı ada sahip yeni bir sütun eklemek için dönüşüm kullanılması desteklenmemektedir.

İster doğrudan ister dönüşüm kuralı kullanarak olsun, null değer alabilme özelliğini değiştirme işlemi, taşınan sütunlarda desteklenmez. Ancak görevde oluşturulan yeni sütunlar varsayılan olarak null değer atanabilir niteliktedir.