Veri kaynaklarından veri yerleştirme

Onboarding sırasında veri aktarmanın ilk adımı, verileri yerleştirmektir. Bu işlem, verilerin veri kaynağından bir yerleştirme alanına aktarılmasını içerir.

Kaynak bağlantıları aracılığıyla bir dizi veri kaynağından veri yerleştirebilirsiniz.

Yerleştirme alanı, projeyi oluşturduğunuzda tanımlanır.

• Qlik Cloud (aracılığıyla Amazon S3)

  Verileri Qlik Cloud platformuna (Amazon S3 aracılığıyla) yerleştirdiğinizde, bunu Qlik Cloud içinde analize hazır QVD tabloları oluşturmak için kullanabilirsiniz.

• Bulut veri deposu

  Verileri Snowflake veya Azure Synapse Analytics gibi bir bulut veri deposuna yerleştirdiğinizde, tabloları aynı bulut veri deposunda depolayabilirsiniz.

• Qlik Açık Göl Evi

  Verileri bir Qlik Açık Göl Evi platformuna yerleştirdiğinizde, verileriniz Iceberg açık tablo biçiminde depolanır ve bulut veri deponuza yansıtılabilir.

Verileri, Snowflake tarafından yönetilen bulut dosya depolama alanına yerleştirildiği bir lakehouse'a da yerleştirebilirsiniz. Daha fazla bilgi için bkz. Bir göl evine veri yerleştirme.

Bir veri yerleştirme görevi oluşturma ve yapılandırma

Bu bölümde bir veri yerleştirme görevinin nasıl oluşturulacağı açıklanmaktadır. Bir veri işlem hattı oluşturmanın en hızlı yolu, hazırlanmaya ve çalıştırılmaya hazır bir veri yerleştirme görevi ile bir veri depolama görevi oluşturan verileri dahil etmektir (onboard). Daha fazla bilgi için bkz. Veri ambarına veri ekleme.

1. Projenizde Oluştur seçeneğine tıklayın ve Verileri yerleştir öğesini seçin.

2. In the Verileri yerleştir iletişim kutusunda, veri görevi için bir ad ve açıklama girin.

   Oluşturulduğunda veri yerleştirme görevini açmak için Aç seçeneğini belirleyin.

   Click Oluştur.

3. Click Kaynak verileri seç.

4. Kaynak verilere yönelik bir bağlantı seçin ve İleri seçeneğine tıklayın.

   Bağlantı listesini kaynak türü, alan ve sahibe göre filtrelemek için sol paneldeki filtreleri kullanabilirsiniz.

   Kaynak verilere henüz bir bağlantınız yoksa öncelikle Bağlantı ekle seçeneğine tıklayarak bir bağlantı oluşturmanız gerekir.

   Desteklenen kaynaklara bağlantı kurma hakkında daha fazla bilgi için bkz. Veri kaynakları ile bağlantılar ayarlama.

   Bilgi notuBir sonraki adımda tabloları seçtiğinizde, kaynak bağlantısını şirket içi bir veri kaynağından bulut veri kaynağına veya tam tersi şekilde değiştirmek mümkün değildir. Bağlantıyı yalnızca aynı türdeki başka bir veri kaynağıyla değiştirebilirsiniz.

5. Veri görevine dahil edilecek veri kümelerini seçin. Seçim iletişim kutusu, bağlandığınız kaynak türüne bağlı olarak farklılık gösterir.

   Tabloları seçmeyi tamamladığınızda Kaydet seçeneğine tıklayın.

   Veri kümeleri görüntülenir.

6. Yerleştirme ayarlarını değiştirebilirsiniz. Bu zorunlu değildir.

   • Click Ayarlar.

   Ayarlar hakkında daha fazla bilgi için bkz. Yerleştirme ayarları.

7. Artık seçilen veri varlığı tablolarının yapısını ve meta verilerini önizleyebilirsiniz. Bu, açıkça listelenen tüm tabloları ve seçim kuralları ile eşleşen tabloları içerir.

   Veri kaynağından daha fazla tablo eklemek istiyorsanız Kaynak verileri seç seçeneğine tıklayın.

8. Veri kümeleri üzerinde verileri filtreleme veya sütun ekleme gibi temel dönüştürme işlemleri gerçekleştirebilirsiniz. Bu zorunlu değildir.

   Daha fazla bilgi için bkz. Veri kümelerini yönetme.

9. İstediğiniz dönüştürmeleri ekledikten sonra Veri kümelerini doğrula seçeneğine tıklayarak veri kümelerini doğrulayabilirsiniz. Doğrulama hata bulursa devam etmeden önce hataları düzeltin.

   Daha fazla bilgi için bkz. Veri kümelerini doğrulama ve ayarlama.

10. Hazır olduğunuzda, veri görevini kataloglamak ve yürütülmeye hazırlamak için Hazırla seçeneğine tıklayın.

    İlerlemeyi ekranın alt kısmındaki Hazırlık ilerleme durumu altından takip edebilirsiniz.

11. Veri görevi hazırlandığında ve verileri çoğaltmaya başlamaya hazır olduğunuzda Çalıştır seçeneğine tıklayın.

Çoğaltma işlemi şimdi başlamalıdır ve ilerlemeyi İzle sekmesinde görebilirsiniz. Daha fazla bilgi için bkz. Bireysel bir veri görevini izleme.

Bir veritabanından veri seçme

Belirli tabloları veya görünümleri seçebilir veya tablo gruplarını dahil etmek veya hariç tutmak için seçim kurallarını kullanabilirsiniz.

Şemalara ve tablolara yönelik seçim ölçütleri tanımlamak için joker karakter olarak % kullanın.

• %.% tüm tablolardaki tüm şemaları tanımlar.

• Public.%, Public içindeki tüm şemaları tanımlar.

Seçim ölçütleri seçimlerinize bağlı olarak size bir önizleme sunar.

Artık şunları yapabilirsiniz:

• Seçim kriterlerine göre bir grup tabloyu dahil etmek veya hariç tutmak için bir kural seçin.

  Kural oluşturmak için Seçim kriterlerinden kural ekle'ye tıklayın ve Dahil et'i veya Hariç tut'u seçin.

  Kuralı Seçim kuralları altında görebilirsiniz.

• Bir veya daha fazla veritabanını seçin ve Seçili veri kümelerini ekle'ye tıklayın.

  Eklenen veri kümelerini Açık olarak seçilen veri kümeleri altında görebilirsiniz.

Seçim kuralları yalnızca geçerli tablo ve görünüm kümesine uygulanır; gelecekte eklenen tablo ve görünümlere uygulanmaz.

Bir yerleştirme görevini Değişiklik verilerini yakalama (CDC) ile çalıştırma

Yerleştirme görevini hazırlandığında çalıştırabilirsiniz. Bu işlem, verileri şirket içi veri kaynağından yerleştirme alanına aktaran çoğaltmayı başlatır.

• Verileri yerleştirmeye başlamak için Çalıştır seçeneğine tıklayın.

Çoğaltma işlemi şimdi başlamalıdır ve veri görevinin durumu Çalışıyor olacaktır. İlk olarak veri kaynağının tamamı kopyalanır, ardından değişiklikler izlenir. Bu, değişikliklerin sürekli olarak izlendiği ve algılandığında aktarıldığı anlamına gelir. Bu işlem, yerleştirme alanındaki yerleştirme verilerini güncel tutar.

Qlik Talend Data Integration ana sayfasında durumu, yerleştirme verilerinin güncellendiği tarihi ve saati ve hatalı tablo sayısını görüntüleyebilirsiniz. Ayrıca veri görevini açabilir ve tablolarla ilgili temel meta veri bilgilerini görüntülemek için Tablolar sekmesini seçebilirsiniz.

İlerlemeyi, İzle sekmesini açarak ayrıntılı bir şekilde izleyebilirsiniz. Daha fazla bilgi için bkz. Bireysel bir veri görevini izleme.

Tüm tablolar yüklendiğinde ve ilk değişiklik kümesi işlendiğinde, veri görevi kartındaki Verilerin güncellendiği tarih: alanı, o zamana kadar olan kaynak değişikliklerinin veri görevinde mevcut olduğunu belirtir.

Tabloları yeniden yükleme

Verileri kaynaktan yeniden yükleyebilirsiniz.

Tekli tabloları yeniden yükleme

Değişiklik verilerini yakalama işlemine müdahale etmeden belirli tabloları manuel olarak yeniden yükleyebilirsiniz. Bu, bir veya daha fazla tabloda CDC sorunları olduğunda kullanışlıdır.

1. Veri yerleştirme görevini açın ve İzle sekmesini seçin.

2. Yeniden yüklemek istediğiniz tabloları seçin.

3. Click Tabloları yeniden yükle.

Tabloları yeniden yükleyerek sorunları çözemezseniz veya sorunlar tüm görevi etkiliyorsa bunun yerine tüm tabloları hedefe yeniden yükleyebilirsiniz. Bu işlem, değişiklik verilerini yakalamayı yeniden başlatır.

Tüm tabloları hedefe yeniden yükleme

Belirli tabloları yeniden yükleyerek çözülemeyen CDC sorunları yaşıyorsanız tüm tabloları hedefe yeniden yükleyebilirsiniz. Eksik olaylar, kaynak veritabanının yeniden düzenlenmesinden kaynaklanan sorunlar veya kaynak veritabanı olayları okunurken karşılaşılan hatalar bu sorunlara örnek olarak gösterilebilir.

1. Veri görevini ve veri görevini tüketen tüm görevlerini durdurun.

2. Veri görevini açın ve Monitör sekmesini seçin.

3. ... ve ardından Hedefi yeniden yükle'ye tıklayın.

Bu, Bırak-Oluştur işlemini kullanarak tüm tabloları hedefe yeniden yükler ve şu andan itibaren tüm değişiklik verisi yakalama işlemlerini yeniden başlatır.

• Yerleştirme veri görevini tüketen depolama görevleri, senkronize edilmek üzere bir sonraki çalıştırmada karşılaştırma ve uygulama aracılığıyla yeniden yüklenecektir. Mevcut geçmiş saklanacaktır. 2. tür geçmiş, yeniden yükleme ve karşılaştırma işlemi gerçekleştirildikten sonra değişiklikleri yansıtacak şekilde güncellenecektir.

  2. tür geçmişteki başlangıç tarihinin zaman damgası, yeniden yükleme tarihini yansıtacaktır, ancak değişikliğin kaynakta gerçekleştiği tarihi yansıtmayabilir.

• Depolama canlı görünümleri, hedefi yeniden yükleme işlemi sırasında ve depolama senkronize olana kadar güvenilir olmayacaktır. Depolama aşağıdaki durumlarda tam olarak senkronize olacaktır:

  • Tüm tablolar karşılaştır ve uygula işlemi kullanılarak yeniden yüklendiğinde,

  • Her tablo için bir değişiklik döngüsü gerçekleştirildiğinde.

Bir veri yerleştirme görevini Yeniden yükle ve karşılaştır ile çalıştırma

Veri yerleştirme görevini hazırlandığında kullanarak verileri kopyalayabilirsiniz.

• Tam yüklemeyi başlatmak için Çalıştır seçeneğine tıklayın.

Veriler şimdi kopyalanmaya başlayacaktır ve veri görevinin durumu Çalışıyor olacaktır. Kaynak verilerin tamamı kopyalandığında durum Tamamlandı olur.

Qlik Talend Data Integration ana sayfasında durumu, yerleştirme verilerinin güncellendiği tarihi ve saati ve hatalı tablo sayısını görüntüleyebilirsiniz. Ayrıca veri görevini açabilir ve tablolarla ilgili temel meta veri bilgilerini görüntülemek için Tablolar sekmesini seçebilirsiniz.

İlerlemeyi, İzle sekmesini açarak ayrıntılı bir şekilde izleyebilirsiniz. Daha fazla bilgi için bkz. Bireysel bir veri görevini izleme.

Tüm tablolar yüklendiğinde, veri görevi kartındaki Verilerin güncellendiği tarih: alanı, o zamana kadar olan kaynak değişikliklerinin veri varlığında mevcut olduğunu belirtir. Ancak veri görevinin bazı tabloları, yüklenmeye ne zaman başladıklarına bağlı olarak daha sonraki bir zamana güncellenebilir. Bu, veri tutarlılığının garanti edilmediği anlamına gelir. Örneğin, yükleme saat 08:00'de başladıysa ve 4 saat sürdüyse yükleme tamamlandığında Verilerin güncellendiği tarih: alanı 08:00'i gösterecektir. Ancak saat 11:30'da yeniden yüklenmeye başlayan bir tablo, 08:00 ile 11:30 arasında meydana gelen kaynak değişikliklerini içerecektir.

Verilerin güncellendiği tarih: alanı yalnızca başarıyla yüklenen tabloları yansıtır. Yeniden yüklemesi başarısız olan tablolarla ilgili herhangi bir şey belirtmez. Bulut hedeflerinde, tüm tablolar hatalı olacak şekilde bir yeniden yükleme tamamlanırsa bu alan boş kalacaktır.

Yeniden yükle ve karşılaştır kullanılırken verileri yeniden yükleme

Güncelleme yöntemi olarak Yeniden yükle ve karşılaştır seçeneğini kullandığınızda, verileri kaynak veri kaynağıyla güncel tutmak için yeniden yüklemeniz gerekir.

• Tüm tabloları manuel olarak yeniden yüklemek için Yeniden Yükle seçeneğine tıklayın.

• Zamanlanmış bir yeniden yükleme ayarlayın.

Tekli tabloları yeniden yükleme

Belirli tabloları manuel olarak yeniden yükleyebilirsiniz. Bu, bir veya daha fazla tabloda sorun olduğunda kullanışlıdır.

1. Veri yerleştirme görevini açın ve İzle sekmesini seçin.

2. Yeniden yüklemek istediğiniz tabloları seçin.

3. Click Tabloları yeniden yükle.

Bir Yeniden yükle ve karşılaştır veri yerleştirme görevini zamanlama

Veri görevinin bulunduğu alanda Çalıştırabilir veya Düzenleyebilir rolüne sahipseniz veri yerleştirme görevi için periyodik yeniden yüklemeler zamanlayabilirsiniz. Zamanlamanın etkin olması için veri görevi durumunun en az Hazırlandı olması gerekir.

• Bir veri görevinde ... simgesine tıklayın ve Zamanlama seçeneğini belirleyin.

  Zaman tabanlı bir zamanlama ayarlayabilirsiniz.

  Veri kaynağı türü ve abonelik kademesine göre minimum zamanlama aralıkları hakkında bilgi için bkz. İzin verilen minimum zamanlama aralıkları.

Veri setleri için yükleme önceliği ayarlama

Her bir veri setine bir yükleme önceliği atayarak veri görevinizde veri setlerinin yükleme sırasını kontrol edebilirsiniz. Bu, örneğin büyük veri setlerinden önce daha küçük veri setlerini yüklemek isterseniz faydalı olabilir.

1. Yükleme önceliği'ne tıklayın.

2. Her bir veri seti için bir yükleme önceliği seçin.

   Varsayılan yükleme önceliği Normal'dir. Veri setleri aşağıdaki öncelik sırasında göre yüklenecektir:

   • En yüksek

   • Daha yüksek

   • Yüksek

   • Normal

   • Düşük

   • Daha düşük

   • En düşük

   Aynı önceliğe sahip veri setleri belirli bir sıra olmadan yüklenir.

3. OK düğmesine tıklayın.

Veri yerleştirme görevi üzerindeki işlemler

Görev menüsünden bir veri yerleştirme görevi üzerinde aşağıdaki işlemleri gerçekleştirebilirsiniz.

• Aç

  Bu işlem veri yerleştirme görevini açar. Tablo yapısını ve veri göreviyle ilgili ayrıntıları görüntüleyebilirsiniz.

• Düzenle

  Görevin adını ve açıklamasını düzenleyebilirsiniz.

• Sil

  Veri görevini silebilirsiniz.

  Aşağıdaki nesneler silinmez:

  • Yerleştirme alanındaki veriler

  • Hedef platformdaki şemalar

• Çalıştır

  Verileri kopyalamaya başlamak için veri görevini çalıştırabilirsiniz.

  Bir yerleştirme görevini Değişiklik verilerini yakalama (CDC) ile çalıştırma

  Bir veri yerleştirme görevini Yeniden yükle ve karşılaştır ile çalıştırma

• Durdur

  Çalışan bir veri görevinin çalışmasını durdurabilirsiniz. Yerleştirme alanı değişen verilerle güncellenmez.

  Yeniden yükleme zamanlaması olan bir tam yükleme veri görevini durdurduğunuzda, yalnızca geçerli yeniden yükleme durdurulur. Veri görevi durumu Durduruldu ise ve etkin bir yeniden yükleme zamanlaması varsa bir sonraki zamanlanmış saatte yeniden yüklenecektir. Yeniden yüklemeyi zamanla bölümünden yeniden yükleme zamanlamasını kapatmanız gerekir.

• Yeniden Yükle

  Yeniden yükle ve karşılaştır güncelleme modundaki bir veri görevini manuel olarak yeniden yükleyebilirsiniz.

• Hazırla

  Bu işlem, bir görevi yürütülmeye hazırlar. Şunları içerir:

  • Tasarımın geçerli olduğunun doğrulanması.

  • Tasarım ile eşleşecek şekilde fiziksel tabloların ve görünümlerin oluşturulması veya değiştirilmesi.

  • Veri görevi için SQL kodunun oluşturulması.

  • Görev çıktısı veri kümeleri için katalog girişlerinin oluşturulması veya değiştirilmesi.

  İlerlemeyi ekranın alt kısmındaki Hazırlık ilerleme durumu altından takip edebilirsiniz.

  Bilgi notuBir görevi hazırlamadan önce, doğrudan aşağı yönde olan tüm görevleri durdurun.

• Tabloları yeniden oluştur

  Bu işlem, veri kümelerini kaynaktan yeniden oluşturur.

  Bilgi notuAyrı ayrı tablolarla ilgili sorunlar varsa tabloları yeniden oluşturmak yerine önce yeniden yüklemeyi denemek önerilir. Tabloların yeniden oluşturulması geçmiş verilerin kaybedilmesine neden olabilir. Performansı bozacak değişiklikler varsa yeniden oluşturulan veri görevlerini kullanan aşağı akış veri görevlerini de verileri yeniden yükleyecek şekilde hazırlamanız gerekir.

• Zamanlama

  Tam yükleme modundaki veri yerleştirme görevleri için zamanlanmış bir yeniden yükleme ayarlayabilirsiniz. Özelleştirilebilen zaman tabanlı bir zamanlama belirleyebilirsiniz.

  Zamanlanmış yeniden yüklemeleri açabilir veya kapatabilirsiniz.

  Yeniden yüklemeleri zamanlamak için veri görevinin bulunduğu alanda Çalıştırabilir rolüne sahip olmanız gerekir.

• Verileri depola

  Bu veri yerleştirme görevindeki verileri kullanan bir veri depolama görevi oluşturabilirsiniz.

Meta veriler yenileniyor

Görevin Tasarım görünümündeki kaynağın meta verilerindeki değişikliklerle hizalanması için görevdeki meta verileri yenileyebilirsiniz. Metadata manager'ın kullanıldığı SaaS uygulamalarında, veri görevinde meta verileri yenileyebilmeniz için önce Metadata manager'ın yenilenmesi gerekir.

1. Seçenekleriniz:

   • Görevdeki tüm veri kümelerinin meta verilerini yenilemek için ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   • Tek bir veri kümesindeki meta verilerini yenilemek için Veri kümeleri bölümündeki bir veri kümesinde ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   Ekranın alt kısmındaki Meta verileri yenile seçeneğinin altında meta verilerin yenilenme durumunu görüntüleyebilirsiniz. İmleci üzerine getirerek meta verilerin en son yenilendiği zamanı görebilirsiniz.

2. Değişiklikleri uygulamak için veri görevini hazırlayın.

   Veri görevini hazırladığınızda ve değişiklikler uygulandığında değişiklikler Meta verileri yenile kısmından kaldırılır.

Değişiklikleri çoğaltmak için bu görevi kullanan depolama görevlerini hazırlamanız gerekir.

Bir sütun kaldırılırsa depolamanın geçmiş verileri kaybetmemesi için Null değerleri içeren bir dönüşüm eklenir.

Meta verileri yenileme ile ilgili sınırlamalar

• Bundan önce aynı zaman aralığında kullanımdan kaldırılmış bir sütunla yeniden adlandırma, aynı veri türüne ve veri uzunluğuna sahipse kullanımdan kaldırılan sütun yeniden adlandırmasına dönüştürülür.

  Örnek:  

  Önce: a b c d

  Sonra: a c1 d

  Bu örnekte b kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmış ve b ile c aynı veri türüne ve veri uzunluğuna sahiptir.

  Bu, b'nin c1 olarak yeniden adlandırılması ve c'nin kullanımdan kaldırılması olarak tanımlanacaktır.

• Son sütun kullanımdan kaldırılsa ve ondan önceki yeniden adlandırılsa bile son sütun yeniden adlandırması algılanmaz.

  Örnek:  

  Önce: a b c d

  Sonra: a b c1

  Bu örnekte d kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmıştır.

  Bu, c ve d'nin kullanımdan kaldırılması ve c1'in eklenmesi olarak tanımlanacaktır.

• Sona yeni sütunların ekleneceği varsayılır. Sütunlar sonraki sütun olarak aynı veri türüyle ortaya eklenirse kullanımdan kaldırma ve yeniden adlandırma olarak yorumlanabilirler.

Şema evrimi

Şema değişimi, birden fazla veri kaynağındaki yapısal değişiklikleri kolayca tespit etmenize ve ardından bu değişikliklerin görevinize nasıl uygulanacağını kontrol etmenize olanak tanır. Şema değişimi, kaynak veri şemasında yapılan DDL değişikliklerini tespit etmek için kullanılabilir. Bazı değişiklikleri otomatik olarak da uygulayabilirsiniz.

Her değişiklik türü için, görev ayarlarının Şema değişimi bölümünde değişikliklerin nasıl ele alınacağını seçebilirsiniz. Değişikliği uygulayabilir, değişikliği yok sayabilir, tabloyu askıya alabilir veya görev işlemeyi durdurabilirsiniz.

Her değişiklik türü için DDL değişikliğini işlemek üzere hangi eylemin kullanılacağını ayarlayabilirsiniz. Bazı eylemler tüm değişiklik türleri için mevcut değildir.

• Hedefe uygula

  Değişiklikleri otomatik olarak uygulayın.

• Yoksay

  Değişiklikleri görmezden gelin.

• Tabloyu askıya al

  Tabloyu askıya alın. Tablo, İzleme'de hatalı olarak görüntülenecektir.

• Görevi durdurun

  Görevin işlenmesini durdurun. Bu, tüm şema değişikliklerini manuel olarak işlemek istiyorsanız kullanışlıdır. Bu zamanlamayı da durduracaktır, yani zamanlanmış çalıştırmalar gerçekleştirilmeyecektir.

Aşağıdaki değişiklikler desteklenmektedir:

• Sütun ekle

• Sütunu yeniden adlandır

• Sütun veri türünü değiştir

• Seçim deseniyle eşleşen tablo oluştur
  

  Bir desenle eşleşen veri kümelerini eklemek için bir Seçim kuralı kullandıysanız deseni karşılayan yeni tablolar algılanır ve eklenir.

Görev ayarları hakkında daha fazla bilgi için bkz. Şema evrimi

Şema evrimi ile işlenen değişiklikler hakkında bildirimler de alabilirsiniz. Daha fazla bilgi için bkz. Çalışma değişiklikleriyle ilgili bildirim ayarlama.

Şema değişimi ile ilgili sınırlamalar

Şema değişimi için aşağıdaki sınırlamalar geçerlidir:

• Şema değişimi yalnızca güncelleme yöntemi olarak CDC kullanıldığında desteklenir.

• Şema değişimi ayarlarını değiştirdiğinizde görevi tekrar hazırlamanız gerekir.

• Tabloları yeniden adlandırırsanız şema değişimi desteklenmez. Bu durumda, görevi hazırlamadan önce meta verileri yenilemeniz gerekir.

• Bir görev tasarlıyorsanız şema değişimi değişikliklerini almak için tarayıcıyı yenilemeniz gerekir. Değişikliklerle ilgili uyarı almak için bildirimler ayarlayabilirsiniz.

• Yerleştirme görevlerinde bir sütunun bırakılması desteklenmez. Bir sütunun bırakılması ve eklenmesi tablo hatasına neden olur.

• Yerleştirme görevlerinde, tabloyu bırakma işlemi tabloyu bırakmaz. Bir tablonun bırakılması ve ardından bir tablo eklenmesi yalnızca eski tabloyu kesecek ve yeni bir tablo eklenmeyecektir.

• Bir sütunun uzunluğunun değiştirilmesi, hedef veritabanındaki desteğe bağlı olarak tüm hedefler için mümkün değildir.

• Bir sütun adı değiştirilirse o sütun kullanılarak tanımlanan açık dönüşümler, sütun adına dayalı oldukları için etkili olmayacaktır.

• Meta verileri yenileme ile ilgili sınırlamalar şema değişimi için de geçerlidir.

• Bir görev, henüz hazırlanmamış tasarım değişiklikleri içeriyorsa ve görev çalıştırıldığında kaynak şema evrimi değişiklikleri algılanırsa, çakışmaları önlemek için görev durdurulacaktır. Bekleyen tasarım değişikliklerini hazırlayın ve görevi tekrar çalıştırın.

DDL değişikliklerini yakalarken aşağıdaki sınırlamalar geçerlidir:

• Kaynak veritabanında hızlı bir işlem dizisi gerçekleştiğinde (örneğin, DDL>DML>DDL) Qlik Talend Data Integration, günlüğü yanlış sırada ayrıştırarak eksik verilere veya öngörülemeyen davranışlara neden olabilir. Bunun gerçekleşme olasılığını en aza indirmek için en iyi uygulama, bir sonraki işlemi gerçekleştirmeden önce değişikliklerin hedefe uygulanmasını beklemektir.

  Bunun bir örneği olarak, değişiklik yakalama sırasında, bir kaynak tablo hızlı bir şekilde art arda birden fazla kez yeniden adlandırılırsa (ve ikinci işlem onu orijinal adına geri döndürürse) tablonun hedef veritabanında zaten var olduğuna dair bir hatayla karşılaşılabilir.

• Bir görevde kullanılan tablonun adını değiştirir ve ardından görevi durdurursanız görev yeniden başlatıldıktan sonra Qlik Talend Data Integration, bu tabloda yapılan değişiklikleri yakalayamaz.

• Bir görev durdurulmuşken kaynak tablonun yeniden adlandırılması desteklenmez.

• Bir tablonun Birincil Anahtar sütunlarının yeniden tahsis etmesi desteklenmez (ve bu nedenle DDL Geçmiş Kontrol tablosuna yazılmaz).
• Bir sütunun veri türü değiştirildiğinde ve (aynı) sütun daha sonra görev durdurulurken yeniden adlandırıldığında DDL değişikliği, DDL Geçmişi Kontrol tablosunda "Sütunu Bırak" ve ardından görev yeniden başlatıldığında "Sütun Ekle" olarak görünecektir. Aynı davranışın uzun süreli gecikmenin bir sonucu olarak da ortaya çıkabileceğini unutmayın.
• Bir görev durdurulurken kaynak üzerinde gerçekleştirilen CREATE TABLE işlemleri, görev devam ettirildiğinde hedefe uygulanır, ancak DDL Geçmişi Kontrol tablosuna DDL olarak kaydedilmez.

• Meta veri değişiklikleriyle ilişkili işlemler (ALTER TABLE, reorg, kümelenmiş bir dizini yeniden oluşturma vb. gibi), aşağıdakilerden birinde gerçekleştirilirse öngörülemeyen davranışlara neden olabilir:

  • Tam Yük Sırasında

    -VEYA-

  • Değişiklikleri şu tarihten itibaren işlemeye başlayın: zaman damgası ile geçerli saat (yani kullanıcının Gelişmiş Çalıştırma Seçenekleri iletişim kutusunda Tamam'a tıkladığı an) arasında.

    Örnek:

    IF:

    Belirtilen Değişiklikleri şu tarihten itibaren işlemeye başlayın: saati 10.00'dur.

    AND:

    Çalışanlar tablosuna saat 10.10'da Yaş adlı bir sütun eklendi.

    AND:

    Kullanıcı saat 10.15'te Gelişmiş Çalıştırma Seçenekleri iletişim kutusunda Tamam'a tıklar.

    THEN:

    Saat 10.00 ile 10.10 arasında gerçekleşen değişiklikler CDC hatalarına neden olabilir.

  Bilgi notu

  Yukarıdaki durumlardan herhangi birinde, verilerin hedefe düzgün bir şekilde moved işlemini yapabilmesi için etkilenen tabloların yeniden yüklenmesi gerekir.

• DDL deyimi ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> varsayılan değeri hedefe çoğaltmaz ve yeni/değiştirilmiş sütun NULL olarak ayarlanır. Sütunu ekleyen/değiştiren DDL, geçmişte yürütülmüş olsa bile bu durumun gerçekleşebileceğini unutmayın. Yeni/değiştirilen sütun null değer atanabilir ise kaynak uç noktası, DDL'nin kendisini günlüğe kaydetmeden önce tüm tablo satırlarını günceller. Sonuç olarak Qlik Talend Data Integration, değişiklikleri yakalar ancak hedefi güncellemez. Yeni/değiştirilmiş sütun NULL olarak ayarlandığından, hedef tabloda Birincil Anahtar/Benzersiz Dizin yoksa sonraki güncellemeler "sıfır satır etkilendi" mesajı oluşturur.

• TIMESTAMP ve DATE kesinlik sütunlarında yapılan değişiklikler yakalanmayacaktır.

Otomatik olarak uygulanmayan değişiklikleri işleme

Bu bölümde, hedefe uygulanamayan değişikliklerin (yani eylemin Yoksay, Askıya Al veya Görevi Durdur olduğu durumlar) nasıl işleneceği açıklanmaktadır.

Sütunları kaldırma

Geçmişi etkinleştirilmiş bir veri depolama görevi tarafından tüketilen bir sütunu bırakırsanız geçmişi korumak ve olası veri kaybını önlemek için aşağıdaki adımları izlemeniz gerekir.

1. Veri yerleştirme görevini durdurun.

2. Tüm yerleştirme verilerinin okunduğundan emin olmak için veri depolama görevini çalıştırın.

3. Yerleştirmedeki sütunu bırakın.

4. Veri yerleştirme görevini çalıştırın.

5. Depolama alanında, sütunu varsayılan bir ifadeyle (Null veya varsayılan değer) ekleyin ya da sütunu bırakın.

Görev bilgilerini görüntüleme

Görev bilgilerini görüntülemek için menü çubuğundaki öğesine tıklayın, örneğin:

• Sahip

• Kullanılabilir alan

• Veri platformu

• Proje Kimliği

• Veri görevi çalışma zamanı kimliği

Kaynak bağlantılarını veya veri ağ geçidini değiştirme

Kaynak bağlantısını veya kaynak veri ağ geçidini değiştirirseniz tüm tabloları yeniden oluşturmanız gerekir.

Yerleştirme alanının bakımı

Yerleştirme alanının otomatik olarak temizlenmesi desteklenmez. Bu durum performansı etkileyebilir.
Yerleştirme alanındaki eski tam yükleme verilerini manuel olarak temizlemenizi öneririz.

• Qlik Cloud (aracılığıyla Amazon S3)

  Birden fazla tam yükleme verisi klasörü varsa en son klasör dışındaki tüm klasörleri silebilirsiniz. İşlenmiş olan değişiklik verisi bölümlerini de silebilirsiniz.

• Bulut veri deposu

  İşlenmiş olan tam yükleme ve değişiklik tablosu kayıtlarını silebilirsiniz.

Öneriler

• Kaynak tablodaki bir birincil anahtar güncellenebiliyorsa Değişiklik İşleme İnce Ayarı bölümündeki Birincil anahtar sütununu güncellerken SİL ve EKLE seçeneğini etkinleştirin.

Sınırlamalar

• 8000 bayttan uzun varchar verilerinin veya 4000 bayttan uzun Nvarchar verilerinin çoğaltılması desteklenmez.

• Taşınan sütunlarda, doğrudan değiştirilerek veya bir dönüştürme kuralı kullanılarak boş değer atanabilirliğin (nullability) değiştirilmesi desteklenmez. Ancak görevde oluşturulan yeni sütunlar varsayılan olarak boş değer atanabilir (nullable) niteliktedir.

• CLOB ve BLOB türündeki kaynak sütunlar, kaynakta boş değer atanamaz (non-nullable) olarak işaretlenmiş olsalar bile varsayılan olarak boş değer atanabilir (nullable) olarak ayarlanır. Bunu boş değer atanamaz olarak değiştirebilirsiniz ancak bu durumda, kaynaktan boş (null) olarak gelmesi ihtimaline karşı boş olmayan bir değer eklemek için bir ifade eklemeniz gerekir. Bu durum silinen kayıtlarda gerçekleşebilir.

Dönüşümler aşağıdaki sınırlamalara tabidir:

• Dönüşümler, sağdan sola dillerin bulunduğu sütunlar için desteklenmez.

• Dönüşümler, adında özel karakterler (ör. #, \, /, -) bulunan sütunlarda gerçekleştirilemez.

• LOB/CLOB veri türleri için desteklenen tek dönüşüm, hedefteki sütunu kullanımdan kaldırmaktır.
• Bir sütunu yeniden adlandırmak ve ardından aynı ada sahip yeni bir sütun eklemek için dönüşüm kullanılması desteklenmemektedir.