Veri kaynaklarından veri yerleştirme

Veri alımı sırasında veri aktarımının ilk adımı verileri yerleştirmektir. Bu, verilerin veri kaynağından bir yerleştirme alanına aktarılmasını içerir.

Kaynak bağlantıları aracılığıyla çeşitli veri kaynaklarından veri yerleştirebilirsiniz.

Yerleştirme alanı, projeyi oluşturduğunuzda tanımlanır.

• Qlik Cloud (Amazon S3 aracılığıyla)

  Verileri Qlik Cloud hedefine (Amazon S3 aracılığıyla) yerleştirdiğinizde, bunu Qlik Cloud içinde analitik için hazır QVD tabloları oluşturmak üzere kullanabilirsiniz.

• Bulut veri deposu

  Verileri Snowflake veya Azure Synapse Analytics gibi bir bulut veri deposuna yerleştirdiğinizde, tabloları aynı bulut veri deposunda depolayabilirsiniz.

• Qlik Açık Göl Evi

  Verileri bir Qlik Açık Göl Evi hedefine yerleştirdiğinizde, verileriniz Iceberg açık tablo biçiminde depolanır ve bulut veri deponuza yansıtılabilir.

Verileri, Snowflake tarafından yönetilen bulut dosya depolamasına yerleştirildiği bir lakehouse'a da yerleştirebilirsiniz. Daha fazla bilgi için bkz. Bir göl evine veri yerleştirme.

Bir yerleştirme veri görevi oluşturma ve yapılandırma

Bu, bir yerleştirme veri görevinin nasıl oluşturulacağını açıklar. Bir veri işlem hattı oluşturmanın en hızlı yolu, hazırlamaya ve çalıştırmaya hazır bir yerleştirme veri görevi ve bir depolama veri görevi oluşturan verileri almaktır. Daha fazla bilgi için bkz. Veri ambarına veri ekleme.

1. Projenizde Oluştur'a tıklayın ve Veri yerleştir'i seçin.

2. Veri yerleştir iletişim kutusunda, veri görevinin adını ve açıklamasını girin.

   Oluşturulduğunda yerleştirme veri görevini açmak için Aç'ı seçin.

   Oluştur'a tıklayın.

3. Kaynak verileri seç'e tıklayın.

4. Kaynak verilere bir bağlantı seçin ve İleri'ye tıklayın.

   Bağlantı listesini kaynak türü, alan ve sahibe göre filtrelemek için sol paneldeki filtreleri kullanabilirsiniz.

   Kaynak verilere henüz bir bağlantınız yoksa, önce Bağlantı ekle'ye tıklayarak bir tane oluşturmanız gerekir.

   Desteklenen kaynaklara bağlantı kurma hakkında daha fazla bilgi için bkz. Veri kaynakları ile bağlantılar ayarlama.

   Bilgi notuSonraki adımda tabloları seçtiğinizde, kaynak bağlantısını şirket içi bir veri kaynağından bir bulut veri kaynağına veya tam tersine değiştirmek mümkün değildir. Bağlantıyı yalnızca aynı türdeki başka bir veri kaynağıyla değiştirebilirsiniz.

5. Veri görevine dahil edilecek veri kümelerini seçin. Seçim iletişim kutusu, bağlandığınız kaynak türüne bağlı olarak farklılık gösterir.

   Tabloları seçmeyi bitirdiğinizde Kaydet'e tıklayın.

   Veri kümeleri görüntülenir.

6. Yerleştirme ayarlarını değiştirebilirsiniz. Bu gerekli değildir.

   • Ayarlar'a tıklayın.

   Ayarlar hakkında daha fazla bilgi için bkz. Yerleştirme ayarları.

7. Artık seçilen veri varlığı tablolarının yapısını ve meta verilerini önizleyebilirsiniz. Bu, açıkça listelenen tüm tabloları ve seçim kurallarıyla eşleşen tabloları içerir.

   Veri kaynağından daha fazla tablo eklemek isterseniz, Kaynak verileri seç'e tıklayın.

8. Veri kümeleri üzerinde verileri filtreleme veya sütun ekleme gibi temel dönüşümler gerçekleştirebilirsiniz. Bu gerekli değildir.

   Daha fazla bilgi için bkz. Veri kümelerini yönetme.

9. İstediğiniz dönüşümleri eklediğinizde, Veri kümelerini doğrula'ya tıklayarak veri kümelerini doğrulayabilirsiniz. Doğrulama hatalar bulursa, devam etmeden önce hataları düzeltin.

   Daha fazla bilgi için bkz. Veri kümelerini doğrulama ve ayarlama.

10. Hazır olduğunuzda, veri görevini kataloglamak ve yürütmeye hazırlamak için Hazırla'ya tıklayın.

    Ekranın alt kısmındaki Hazırlık ilerlemesi altında ilerlemeyi takip edebilirsiniz.

11. Veri görevi hazırlandığında ve verileri çoğaltmaya başlamaya hazır olduğunuzda Çalıştır'a tıklayın.

Çoğaltma şimdi başlamalıdır ve ilerlemeyi İzle bölümünde görebilirsiniz. Daha fazla bilgi için bkz. Ayrı bir veri görevini izleme.

Bir veritabanından veri seçme

Belirli tabloları veya görünümleri seçebilir veya tablo gruplarını dahil etmek veya hariç tutmak için seçim kurallarını kullanabilirsiniz.

Şemalara ve tablolara yönelik seçim ölçütleri tanımlamak için joker karakter olarak % kullanın.

• %.% tüm tablolardaki tüm şemaları tanımlar.

• Public.%, Public içindeki tüm şemaları tanımlar.

Seçim ölçütleri seçimlerinize bağlı olarak size bir önizleme sunar.

Artık şunları yapabilirsiniz:

• Seçim kriterlerine göre bir grup tabloyu dahil etmek veya hariç tutmak için bir kural seçin.

  Kural oluşturmak için Seçim kriterlerinden kural ekle'ye tıklayın ve Dahil et'i veya Hariç tut'u seçin.

  Kuralı Seçim kuralları altında görebilirsiniz.

• Bir veya daha fazla veritabanını seçin ve Seçili veri kümelerini ekle'ye tıklayın.

  Eklenen veri kümelerini Açık olarak seçilen veri kümeleri altında görebilirsiniz.

Seçim kuralları yalnızca geçerli tablo ve görünüm kümesine uygulanır; gelecekte eklenen tablo ve görünümlere uygulanmaz.

Değişen veri yakalama (CDC) ile bir yerleştirme görevini çalıştırma

Hazırlandığında yerleştirme görevini çalıştırabilirsiniz. Bu, verileri şirket içi veri kaynağından yerleştirme alanına aktaran çoğaltmayı başlatır.

• Veri yerleştirmeyi başlatmak için Çalıştır'a tıklayın.

Çoğaltma şimdi başlamalıdır ve veri görevi Çalışıyor durumuna sahip olacaktır. İlk olarak, tam veri kaynağı kopyalanır, ardından değişiklikler izlenir. Bu, değişikliklerin sürekli olarak izlendiği ve keşfedildiğinde aktarıldığı anlamına gelir. Bu, yerleştirme alanındaki yerleştirme verilerini güncel tutar.

Qlik Talend Data Integration ana sayfasında durumu, yerleştirme verilerinin güncellendiği tarihi ve saati ve hatalı tablo sayısını görüntüleyebilirsiniz. Ayrıca veri görevini açabilir ve tablolar için temel meta veri bilgilerini görüntülemek üzere Tablolar sekmesini seçebilirsiniz.

İzle sekmesini açarak ilerlemeyi ayrıntılı olarak izleyebilirsiniz. Daha fazla bilgi için bkz. Ayrı bir veri görevini izleme.

Tüm tablolar yüklendiğinde ve ilk değişiklik kümesi işlendiğinde, veri görevi kartındaki Verilerin güncellenme zamanı, o zamana kadarki kaynak değişikliklerinin veri görevinde mevcut olduğunu gösterir.

Tabloları yeniden yükleme

Verileri kaynaktan yeniden yükleyebilirsiniz.

Tek tabloları yeniden yükleme

Değişen veri yakalamaya müdahale etmeden belirli tabloları manuel olarak yeniden yükleyebilirsiniz. Bu, bir veya daha fazla tabloda CDC sorunları olduğunda yararlıdır.

1. Yerleştirme veri görevini açın ve İzle sekmesini seçin.

2. Yeniden yüklemek istediğiniz tabloları seçin.

3. Tabloları yeniden yükle'ye tıklayın.

Sorunları tabloları yeniden yükleyerek çözemezseniz veya tüm görevi etkiliyorlarsa, bunun yerine tüm tabloları hedefe yeniden yükleyebilirsiniz. Bu, değişen veri yakalamayı yeniden başlatacaktır.

Tüm tabloları hedefe yeniden yükleme

Belirli tabloları yeniden yükleyerek çözülemeyen CDC sorunları yaşarsanız tüm tabloları hedefe yeniden yükleyebilirsiniz. Sorunlara örnek olarak eksik olaylar, kaynak veritabanının yeniden düzenlenmesinden kaynaklanan sorunlar veya kaynak veritabanı olaylarını okurken oluşan hatalar verilebilir.

1. Veri görevini ve veri görevini tüketen tüm görevlerini durdurun.

2. Veri görevini açın ve Monitör sekmesini seçin.

3. ... ve ardından Hedefi yeniden yükle'ye tıklayın.

Bu, Bırak-Oluştur işlemini kullanarak tüm tabloları hedefe yeniden yükler ve şu andan itibaren tüm değişiklik verisi yakalama işlemlerini yeniden başlatır.

• Yerleştirme veri görevini tüketen depolama görevleri, senkronize edilmek üzere bir sonraki çalıştırmada karşılaştırma ve uygulama aracılığıyla yeniden yüklenecektir. Mevcut geçmiş saklanacaktır. 2. tür geçmiş, yeniden yükleme ve karşılaştırma işlemi gerçekleştirildikten sonra değişiklikleri yansıtacak şekilde güncellenecektir.

  2. tür geçmişteki başlangıç tarihinin zaman damgası, yeniden yükleme tarihini yansıtacaktır, ancak değişikliğin kaynakta gerçekleştiği tarihi yansıtmayabilir.

• Depolama canlı görünümleri, hedefi yeniden yükleme işlemi sırasında ve depolama senkronize olana kadar güvenilir olmayacaktır. Depolama aşağıdaki durumlarda tam olarak senkronize olacaktır:

  • Tüm tablolar karşılaştır ve uygula işlemi kullanılarak yeniden yüklendiğinde,

  • Her tablo için bir değişiklik döngüsü gerçekleştirildiğinde.

Yeniden yükle ve karşılaştır ile bir yerleştirme veri görevini çalıştırma

Hazırlandığında yerleştirme veri görevini kullanarak verileri kopyalayabilirsiniz.

• Tam yükü başlatmak için Çalıştır'a tıklayın.

Veriler şimdi kopyalanmaya başlayacak ve veri görevi Çalışıyor durumuna sahip olacaktır. Tam veri kaynağı kopyalandığında durum Tamamlandı olur.

Qlik Talend Data Integration ana sayfasında durumu, yerleştirme verilerinin güncellendiği tarihi ve saati ve hatalı tablo sayısını görüntüleyebilirsiniz. Ayrıca veri görevini açabilir ve tablolar için temel meta veri bilgilerini görüntülemek üzere Tablolar sekmesini seçebilirsiniz.

İzle sekmesini açarak ilerlemeyi ayrıntılı olarak izleyebilirsiniz. Daha fazla bilgi için bkz. Ayrı bir veri görevini izleme.

Tüm tablolar yüklendiğinde, veri görevi kartındaki Verilerin güncellenme zamanı, o zamana kadarki kaynak değişikliklerinin veri varlığında mevcut olduğunu gösterir. Ancak, veri görevinin bazı tabloları, yüklenmeye başladıkları zamana bağlı olarak daha ileri bir zamana güncellenebilir. Bu, veri tutarlılığının garanti edilmediği anlamına gelir. Örneğin, yükleme 08:00'de başladıysa ve 4 saat sürdüyse, yükleme tamamlandığında Verilerin güncellenme zamanı 08:00'i gösterecektir. Ancak, 11:30'da yeniden yüklenmeye başlayan bir tablo, 08:00 ile 11:30 arasında meydana gelen kaynak değişikliklerini içerecektir.

Verilerin güncellenme zamanı yalnızca başarıyla yüklenen tabloları yansıtır. Yeniden yüklemeleri başarısız olan tablolarla ilgili hiçbir şey göstermez. Bulut hedeflerinde, bir yeniden yükleme tüm tablolar hatalı olarak tamamlanırsa alan boş olacaktır.

Yeniden yükle ve karşılaştır kullanırken verileri yeniden yükleme

Güncelleme yöntemi olarak Yeniden yükle ve karşılaştır'ı kullandığınızda, veri kaynağıyla güncel tutmak için verileri yeniden yüklemeniz gerekir.

• Tüm tabloların manuel olarak yeniden yüklenmesini gerçekleştirmek için Yeniden yükle'ye tıklayın.

• Zamanlanmış bir yeniden yükleme ayarlayın.

Tek tabloları yeniden yükleme

Belirli tabloları manuel olarak yeniden yükleyebilirsiniz. Bu, bir veya daha fazla tabloda sorun olduğunda yararlıdır.

1. Yerleştirme veri görevini açın ve İzle sekmesini seçin.

2. Yeniden yüklemek istediğiniz tabloları seçin.

3. Tabloları yeniden yükle'ye tıklayın.

Bir Yeniden yükle ve karşılaştır yerleştirme veri görevini zamanlama

Veri görevinin alanında Çalıştırabilir ve Düzenleyebilir rollerine sahipseniz, yerleştirme veri görevi için periyodik yeniden yüklemeler zamanlayabilirsiniz. Zamanlamanın etkin olması için veri görevi durumunun en az Hazırlandı olması gerekir.

• Bir veri görevinde ... simgesine tıklayın ve Zamanlama'yı seçin.

  Zamana dayalı bir zamanlama ayarlayabilirsiniz.

  Veri kaynağı türü ve abonelik kademesine göre minimum zamanlama aralıkları hakkında bilgi için bkz. İzin verilen minimum zamanlama aralıkları.

Veri setleri için yükleme önceliği ayarlama

Her bir veri setine bir yükleme önceliği atayarak veri görevinizde veri setlerinin yükleme sırasını kontrol edebilirsiniz. Bu, örneğin büyük veri setlerinden önce daha küçük veri setlerini yüklemek isterseniz faydalı olabilir.

1. Yükleme önceliği'ne tıklayın.

2. Her bir veri seti için bir yükleme önceliği seçin.

   Varsayılan yükleme önceliği Normal'dir. Veri setleri aşağıdaki öncelik sırasında göre yüklenecektir:

   • En yüksek

   • Daha yüksek

   • Yüksek

   • Normal

   • Düşük

   • Daha düşük

   • En düşük

   Aynı önceliğe sahip veri setleri belirli bir sıra olmadan yüklenir.

3. OK düğmesine tıklayın.

Yerleştirme veri görevi üzerindeki işlemler

Görev menüsünden bir yerleştirme veri görevi üzerinde aşağıdaki işlemleri gerçekleştirebilirsiniz.

• Aç

  Bu, yerleştirme veri görevini açar. Tablo yapısını ve veri göreviyle ilgili ayrıntıları görüntüleyebilirsiniz.

• Düzenle

  Görevin adını ve açıklamasını düzenleyebilirsiniz.

• Sil

  Veri görevini silebilirsiniz.

  Aşağıdaki nesneler silinmez:

  • Yerleştirme alanındaki veriler

  • Hedef platformdaki şemalar

• Çalıştır

  Verileri kopyalamaya başlamak için veri görevini çalıştırabilirsiniz.

  Değişen veri yakalama (CDC) ile bir yerleştirme görevini çalıştırma

  Yeniden yükle ve karşılaştır ile bir yerleştirme veri görevini çalıştırma

• Durdur

  Çalışan bir veri görevinin çalışmasını durdurabilirsiniz. Yerleştirme alanı değişen verilerle güncellenmez.

  Yeniden yükleme zamanlaması olan bir tam yük veri görevini durdurduğunuzda, yalnızca geçerli yeniden yükleme durdurulur. Veri görevi durumu Durduruldu ise ve etkin bir yeniden yükleme zamanlaması varsa, bir sonraki zamanlanmış saatte tekrar yeniden yüklenecektir. Yeniden yükleme zamanlamasını Yeniden yüklemeyi zamanla bölümünden kapatmalısınız.

• Yeniden yükle

  Yeniden yükle ve karşılaştır güncelleme modundaki bir veri görevinin manuel olarak yeniden yüklenmesini gerçekleştirebilirsiniz.

• Hazırla

  Bu, bir görevi yürütmeye hazırlar. Bu şunları içerir:

  • Tasarımın geçerli olduğunu doğrulama.

  • Fiziksel tabloları ve görünümleri tasarımla eşleşecek şekilde oluşturma veya değiştirme.

  • Veri görevi için SQL kodunu oluşturma.

  • Görev çıktısı veri kümeleri için katalog girişlerini oluşturma veya değiştirme.

  Ekranın alt kısmındaki Hazırlık ilerlemesi altında ilerlemeyi takip edebilirsiniz.

  Bilgi notuBir görevi hazırlamadan önce, doğrudan aşağı yönde olan tüm görevleri durdurun.

• Tabloları yeniden oluştur

  Bu, veri kümelerini kaynaktan yeniden oluşturur.

  Bilgi notuAyrı ayrı tablolarla ilgili sorunlar varsa tabloları yeniden oluşturmak yerine önce yeniden yüklemeyi denemek önerilir. Tabloların yeniden oluşturulması geçmiş verilerin kaybedilmesine neden olabilir. Performansı bozacak değişiklikler varsa yeniden oluşturulan veri görevlerini kullanan aşağı akış veri görevlerini de verileri yeniden yükleyecek şekilde hazırlamanız gerekir.

• Zamanlama

  Tam yük modundaki yerleştirme veri görevleri için zamanlanmış bir yeniden yükleme ayarlayabilirsiniz. Özelleştirilebilen zamana dayalı bir zamanlama ayarlayabilirsiniz.

  Zamanlanmış yeniden yüklemeleri de açabilir veya kapatabilirsiniz.

  Yeniden yüklemeleri zamanlamak için veri görevinin alanında Çalıştırabilir rolüne sahip olmalısınız.

• Veri depola

  Bu yerleştirme veri görevinden gelen verileri kullanan bir depolama veri görevi oluşturabilirsiniz.

Meta veriler yenileniyor

Görevin Tasarım görünümündeki kaynağın meta verilerindeki değişikliklerle hizalanması için görevdeki meta verileri yenileyebilirsiniz. Metadata manager'ın kullanıldığı SaaS uygulamalarında, veri görevinde meta verileri yenileyebilmeniz için önce Metadata manager'ın yenilenmesi gerekir.

1. Seçenekleriniz:

   • Görevdeki tüm veri kümelerinin meta verilerini yenilemek için ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   • Tek bir veri kümesindeki meta verilerini yenilemek için Veri kümeleri bölümündeki bir veri kümesinde ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   Ekranın alt kısmındaki Meta verileri yenile seçeneğinin altında meta verilerin yenilenme durumunu görüntüleyebilirsiniz. İmleci üzerine getirerek meta verilerin en son yenilendiği zamanı görebilirsiniz.

2. Değişiklikleri uygulamak için veri görevini hazırlayın.

   Veri görevini hazırladığınızda ve değişiklikler uygulandığında değişiklikler Meta verileri yenile kısmından kaldırılır.

Değişiklikleri çoğaltmak için bu görevi kullanan depolama görevlerini hazırlamanız gerekir.

Bir sütun kaldırılırsa depolamanın geçmiş verileri kaybetmemesi için Null değerleri içeren bir dönüşüm eklenir.

Meta verileri yenileme ile ilgili sınırlamalar

• Bundan önce aynı zaman aralığında kullanımdan kaldırılmış bir sütunla yeniden adlandırma, aynı veri türüne ve veri uzunluğuna sahipse kullanımdan kaldırılan sütun yeniden adlandırmasına dönüştürülür.

  Örnek:  

  Önce: a b c d

  Sonra: a c1 d

  Bu örnekte b kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmış ve b ile c aynı veri türüne ve veri uzunluğuna sahiptir.

  Bu, b'nin c1 olarak yeniden adlandırılması ve c'nin kullanımdan kaldırılması olarak tanımlanacaktır.

• Son sütun kullanımdan kaldırılsa ve ondan önceki yeniden adlandırılsa bile son sütun yeniden adlandırması algılanmaz.

  Örnek:  

  Önce: a b c d

  Sonra: a b c1

  Bu örnekte d kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmıştır.

  Bu, c ve d'nin kullanımdan kaldırılması ve c1'in eklenmesi olarak tanımlanacaktır.

• Sona yeni sütunların ekleneceği varsayılır. Sütunlar sonraki sütun olarak aynı veri türüyle ortaya eklenirse kullanımdan kaldırma ve yeniden adlandırma olarak yorumlanabilirler.

Şema evrimi

Şema değişimi, birden fazla veri kaynağındaki yapısal değişiklikleri kolayca tespit etmenize ve ardından bu değişikliklerin görevinize nasıl uygulanacağını kontrol etmenize olanak tanır. Şema değişimi, kaynak veri şemasında yapılan DDL değişikliklerini tespit etmek için kullanılabilir. Bazı değişiklikleri otomatik olarak da uygulayabilirsiniz.

Her değişiklik türü için, görev ayarlarının Şema değişimi bölümünde değişikliklerin nasıl ele alınacağını seçebilirsiniz. Değişikliği uygulayabilir, değişikliği yok sayabilir, tabloyu askıya alabilir veya görev işlemeyi durdurabilirsiniz.

Her değişiklik türü için DDL değişikliğini işlemek üzere hangi eylemin kullanılacağını ayarlayabilirsiniz. Bazı eylemler tüm değişiklik türleri için mevcut değildir.

• Hedefe uygula

  Değişiklikleri otomatik olarak uygulayın.

• Yoksay

  Değişiklikleri görmezden gelin.

• Tabloyu askıya al

  Tabloyu askıya alın. Tablo, İzleme'de hatalı olarak görüntülenecektir.

• Görevi durdurun

  Görevin işlenmesini durdurun. Bu, tüm şema değişikliklerini manuel olarak işlemek istiyorsanız kullanışlıdır. Bu zamanlamayı da durduracaktır, yani zamanlanmış çalıştırmalar gerçekleştirilmeyecektir.

Aşağıdaki değişiklikler desteklenmektedir:

• Sütun ekle

• Sütunu yeniden adlandır

• Sütun veri türünü değiştir

• Seçim deseniyle eşleşen tablo oluştur
  

  Bir desenle eşleşen veri kümeleri eklemek için bir Seçim kuralı kullandıysanız, deseni karşılayan yeni tablolar algılanacak ve eklenecektir.

Görev ayarları hakkında daha fazla bilgi için bkz. Şema evrimi

Şema evrimi ile işlenen değişiklikler hakkında bildirimler de alabilirsiniz. Daha fazla bilgi için bkz. Çalışma değişiklikleriyle ilgili bildirim ayarlama.

Şema değişimi ile ilgili sınırlamalar

Şema değişimi için aşağıdaki sınırlamalar geçerlidir:

• Şema değişimi yalnızca güncelleme yöntemi olarak CDC kullanıldığında desteklenir.

• Şema değişimi ayarlarını değiştirdiğinizde görevi tekrar hazırlamanız gerekir.

• Tabloları yeniden adlandırırsanız şema değişimi desteklenmez. Bu durumda, görevi hazırlamadan önce meta verileri yenilemeniz gerekir.

• Bir görev tasarlıyorsanız şema değişimi değişikliklerini almak için tarayıcıyı yenilemeniz gerekir. Değişikliklerle ilgili uyarı almak için bildirimler ayarlayabilirsiniz.

• Yerleştirme görevlerinde bir sütunun bırakılması desteklenmez. Bir sütunun bırakılması ve eklenmesi tablo hatasına neden olur.

• Yerleştirme görevlerinde, tabloyu bırakma işlemi tabloyu bırakmaz. Bir tablonun bırakılması ve ardından bir tablo eklenmesi yalnızca eski tabloyu kesecek ve yeni bir tablo eklenmeyecektir.

• Bir sütunun uzunluğunun değiştirilmesi, hedef veritabanındaki desteğe bağlı olarak tüm hedefler için mümkün değildir.

• Bir sütun adı değiştirilirse o sütun kullanılarak tanımlanan açık dönüşümler, sütun adına dayalı oldukları için etkili olmayacaktır.

• Meta verileri yenileme ile ilgili sınırlamalar şema değişimi için de geçerlidir.

• Bir görev, henüz hazırlanmamış tasarım değişiklikleri içeriyorsa ve görev çalıştırıldığında kaynak şema evrimi değişiklikleri algılanırsa, çakışmaları önlemek için görev durdurulacaktır. Bekleyen tasarım değişikliklerini hazırlayın ve görevi tekrar çalıştırın.

DDL değişikliklerini yakalarken aşağıdaki sınırlamalar geçerlidir:

• Kaynak veritabanında hızlı bir işlem dizisi gerçekleştiğinde (örneğin, DDL>DML>DDL) Qlik Talend Data Integration, günlüğü yanlış sırada ayrıştırarak eksik verilere veya öngörülemeyen davranışlara neden olabilir. Bunun gerçekleşme olasılığını en aza indirmek için en iyi uygulama, bir sonraki işlemi gerçekleştirmeden önce değişikliklerin hedefe uygulanmasını beklemektir.

  Bunun bir örneği olarak, değişiklik yakalama sırasında, bir kaynak tablo hızlı bir şekilde art arda birden fazla kez yeniden adlandırılırsa (ve ikinci işlem onu orijinal adına geri döndürürse) tablonun hedef veritabanında zaten var olduğuna dair bir hatayla karşılaşılabilir.

• Bir görevde kullanılan tablonun adını değiştirir ve ardından görevi durdurursanız görev yeniden başlatıldıktan sonra Qlik Talend Data Integration, bu tabloda yapılan değişiklikleri yakalayamaz.

• Bir görev durdurulmuşken kaynak tablonun yeniden adlandırılması desteklenmez.

• Bir tablonun Birincil Anahtar sütunlarının yeniden tahsis etmesi desteklenmez (ve bu nedenle DDL Geçmiş Kontrol tablosuna yazılmaz).
• Bir sütunun veri türü değiştirildiğinde ve (aynı) sütun daha sonra görev durdurulurken yeniden adlandırıldığında DDL değişikliği, DDL Geçmişi Kontrol tablosunda "Sütunu Bırak" ve ardından görev yeniden başlatıldığında "Sütun Ekle" olarak görünecektir. Aynı davranışın uzun süreli gecikmenin bir sonucu olarak da ortaya çıkabileceğini unutmayın.
• Bir görev durdurulurken kaynak üzerinde gerçekleştirilen CREATE TABLE işlemleri, görev devam ettirildiğinde hedefe uygulanır, ancak DDL Geçmişi Kontrol tablosuna DDL olarak kaydedilmez.

• Meta veri değişiklikleriyle ilişkili işlemler (ALTER TABLE, reorg, kümelenmiş bir dizini yeniden oluşturma vb. gibi), aşağıdakilerden birinde gerçekleştirilirse öngörülemeyen davranışlara neden olabilir:

  • Tam Yük Sırasında

    -VEYA-

  • Değişiklikleri şu tarihten itibaren işlemeye başlayın: zaman damgası ile geçerli saat (yani kullanıcının Gelişmiş Çalıştırma Seçenekleri iletişim kutusunda Tamam'a tıkladığı an) arasında.

    Örnek:

    IF:

    Belirtilen Değişiklikleri şu tarihten itibaren işlemeye başlayın: saati 10.00'dur.

    AND:

    Çalışanlar tablosuna saat 10.10'da Yaş adlı bir sütun eklendi.

    AND:

    Kullanıcı saat 10.15'te Gelişmiş Çalıştırma Seçenekleri iletişim kutusunda Tamam'a tıklar.

    THEN:

    Saat 10.00 ile 10.10 arasında gerçekleşen değişiklikler CDC hatalarına neden olabilir.

  Bilgi notu

  Yukarıdaki durumlardan herhangi birinde, verilerin hedefe düzgün bir şekilde moved işlemini yapabilmesi için etkilenen tabloların yeniden yüklenmesi gerekir.

• DDL deyimi ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> varsayılan değeri hedefe çoğaltmaz ve yeni/değiştirilmiş sütun NULL olarak ayarlanır. Sütunu ekleyen/değiştiren DDL, geçmişte yürütülmüş olsa bile bu durumun gerçekleşebileceğini unutmayın. Yeni/değiştirilen sütun null değer atanabilir ise kaynak uç noktası, DDL'nin kendisini günlüğe kaydetmeden önce tüm tablo satırlarını günceller. Sonuç olarak Qlik Talend Data Integration, değişiklikleri yakalar ancak hedefi güncellemez. Yeni/değiştirilmiş sütun NULL olarak ayarlandığından, hedef tabloda Birincil Anahtar/Benzersiz Dizin yoksa sonraki güncellemeler "sıfır satır etkilendi" mesajı oluşturur.

• TIMESTAMP ve DATE kesinlik sütunlarında yapılan değişiklikler yakalanmayacaktır.

Otomatik olarak uygulanmayan değişiklikleri işleme

Bu, hedefe uygulanamayan, yani eylemin Yoksay, Askıya Al veya Görevi Durdur olduğu değişikliklerin nasıl işleneceğini açıklar.

Sütunları kaldırma

Geçmişi etkinleştirilmiş bir depolama veri görevi tarafından tüketilen bir sütunu bırakırsanız, geçmişi korumak ve olası veri kaybını önlemek için bu adımları izlemeniz gerekir.

1. Yerleştirme veri görevini durdurun.

2. Tüm yerleştirme verilerinin okunduğundan emin olmak için depolama veri görevini çalıştırın.

3. Yerleştirmedeki sütunu bırakın.

4. Yerleştirme veri görevini çalıştırın.

5. Depolamada, sütunu varsayılan bir ifadeyle (Null veya varsayılan değer) ekleyin veya sütunu bırakın.

Görev bilgilerini görüntüleme

Görev bilgilerini görüntülemek için menü çubuğundaki öğesine tıklayın, örneğin:

• Sahip

• Kullanılabilir alan

• Veri platformu

• Proje Kimliği

• Veri görevi çalışma zamanı kimliği

Kaynak bağlantılarını veya veri ağ geçidini değiştirme

Kaynak bağlantısını veya kaynak veri ağ geçidini değiştirirseniz, tüm tabloları yeniden oluşturmanız gerekir.

Yerleştirme alanının bakımı

Yerleştirme alanının otomatik olarak temizlenmesi desteklenmez. Bu, performansı etkileyebilir.
Yerleştirme alanındaki eski tam yük verilerinin manuel olarak temizlenmesini gerçekleştirmenizi öneririz.

• Qlik Cloud (Amazon S3 aracılığıyla)

  Birkaç tam yük veri klasörü varsa, en yenisi dışındaki tüm klasörleri silebilirsiniz. İşlenmiş değişen veri bölümlerini de silebilirsiniz.

• Bulut veri deposu

  İşlenmiş tam yük ve değişiklik tablosu kayıtlarını silebilirsiniz.

Öneriler

• Bir kaynak tablodaki birincil anahtar güncellenebiliyorsa, Değişiklik İşleme Ayarı bölümündeki Birincil anahtar sütununu güncellerken SİL ve EKLE seçeneğini etkinleştirin.

Sınırlamalar

• 8000 bayttan uzun varchar verilerinin veya 4000 bayttan uzun Nvarchar verilerinin çoğaltılması desteklenmez.

• Taşınan sütunlarda, doğrudan değiştirilerek veya bir dönüştürme kuralı kullanılarak boş değer alabilme özelliğinin değiştirilmesi desteklenmez. Ancak, görevde oluşturulan yeni sütunlar varsayılan olarak boş değer alabilir.

• CLOB ve BLOB türündeki kaynak sütunlar, kaynakta boş değer alamaz olarak işaretlenmiş olsalar bile varsayılan olarak boş değer alabilir olarak ayarlanacaktır. Bunu boş değer alamaz olarak değiştirebilirsiniz, ancak bu durumda kaynaktan boş olarak gelmesi ihtimaline karşı boş olmayan bir değer eklemek için bir ifade eklemeniz gerekir. Bu, silinen kayıtlarda olabilir.

Dönüşümler aşağıdaki sınırlamalara tabidir:

• Dönüşümler, sağdan sola dillerin bulunduğu sütunlar için desteklenmez.

• Dönüşümler, adında özel karakterler (ör. #, \, /, -) bulunan sütunlarda gerçekleştirilemez.

• LOB/CLOB veri türleri için desteklenen tek dönüşüm, hedefteki sütunu kullanımdan kaldırmaktır.
• Bir sütunu yeniden adlandırmak ve ardından aynı ada sahip yeni bir sütun eklemek için dönüşüm kullanılması desteklenmemektedir.