Standard, Premium veya Enterprise abonelikle veri gölüne veri yerleştirme

Verileri bir aşağıdaki hedeflere yerleştirmek için bir Verileri veri gölüne yerleştir görevi ayarlayabilirsiniz:

• Amazon S3

  Amazon S3'ünüze bir bağlantı yapılandırma hakkında bilgi için bkz. Amazon S3.

• Azure Data Lake Storage

  Azure Data Lake Storage'ınıza bağlantı yapılandırma hakkında bilgi için bkz. Azure Data Lake Storage.

• Google Cloud Storage

  Google Cloud Storage'ınıza bağlantı yapılandırma hakkında bilgi için bkz. Google Cloud Storage.

Veri kaynaklarınıza bağlantıları yapılandırma hakkında bilgi için bk. Veri kaynakları ile bağlantılar ayarlama

Bir veri gölü yerleştirme görevi ayarlamak için:

1. Veri Entegrasyonu > Projeler bölümünde Proje oluştur'a tıklayın.

2. Yeni proje iletişim kutusunda aşağıdakileri yapın:

   1. Projeniz için bir Ad girin.

   2. Projenin oluşturulmasını istediğiniz Alanı seçin.
   3. İsteğe bağlı olarak bir Açıklama girin.
   4. Kullanım durumu olarak Çoğaltma'yı seçin.
   5. İsteğe bağlı olarak, herhangi bir ayar yapılandırmadan boş bir proje oluşturmak istiyorsanız Aç onay kutusunun işaretini kaldırın.

   6. Oluştur'a tıklayın.

      Aşağıdakilerden biri gerçekleşecektir:

      • Yeni proje iletişim kutusundaki Aç onay kutusu seçildiyse (varsayılan) proje açılır.
      • Yeni proje iletişim kutusundaki Aç onay kutusunun işaretini kaldırdıydıysanız proje, projeler listenize eklenecektir. Projeyi daha sonra proje menüsünden Aç seçeneğini belirleyerek açabilirsiniz.

3. Proje açıldıktan sonra Verileri veri gölüne indir seçeneğine tıklayın.

   Verileri veri gölüne indir sihirbazı açılır.

4. Genel sekmesinde, veri gölü iniş görevi için bir ad ve açıklama belirtin. Ardından İleri'ye tıklayın.

   Bilgi notuEğik çizgi (/) veya ters eğik çizgi (\) karakterleri içeren adlar desteklenmez.

5. Kaynak bağlantı seç sekmesinde, kaynak verilere bir bağlantı seçin. İsteğe bağlı olarak Eylemler sütunundaki menüden Düzenle'yi seçerek bağlantı ayarlarını düzenleyebilirsiniz.

   Kaynak verilerle henüz bir bağlantınız yoksa sekmenin sağ üst köşesindeki Bağlantı oluştur seçeneğine tıklayarak önce bir bağlantı oluşturmanız gerekir.

   Sol taraftaki filtreleri kullanarak bağlantı listesini filtreleyebilirsiniz. Bağlantılar kaynak türüne, ağ geçidine, alana ve sahibine göre filtrelenebilir. Bağlantılar listesinin üzerindeki Tüm filtreler düğmesi geçerli filtrelerin sayısını gösterir. Soldaki Filtreler panelini kapatmak veya açmak için bu düğmeyi kullanabilirsiniz. Şu anda etkin olan filtreler de mevcut bağlantılar listesinin üzerinde gösterilir.

   Ayrıca, sağdaki açılır listeden Son değiştirilme, Son oluşturulma veya Alfabetik'i seçerek listeyi sıralayabilirsiniz. Sıralama düzenini değiştirmek için listenin sağındaki oka tıklayın.

   Bir veri kaynağı bağlantısı seçtikten sonra, isteğe bağlı olarak sekmenin (önerilir) sağ üst kısmındaki Bağlantıyı test et seçeneğine ve ardından İleri seçeneğine tıklayın.

6. Veri kümelerini seçin sekmesinde, veri gölü açılış görevine dahil edilecek tabloları ve/veya görünümleri seçin. Ayrıca joker karakterler kullanabilir ve Veritabanından veri seçme bölümünde açıklandığı gibi seçim kuralları oluşturabilirsiniz.

   Bilgi notuEğik çizgi (/) veya ters eğik çizgi (\) karakterleri içeren şema adları ya da tablo adları desteklenmez.

7. Hedef bağlantı seç sekmesinde, kullanılabilir bağlantılar listesinden bir hedefi seçin ve ardından İleri'ye tıklayın. İşlevsellik açısından bu sekme, daha önce açıklanan Kaynak bağlantı seç sekmesiyle aynıdır.

8. Ayarlar sekmesinde, isteğe bağlı olarak aşağıdaki ayarları değiştirin ve ardından İleri'ye tıklayın.

   Güncelleme yöntemi:

   • Değişiklik verisi yakalama (CDC): Veri gölü yerleştirme görevleri tam yükleme ile başlar (bu sırada seçilen tüm tablolar yerleştirilir). Veri gölü yerleştirme görevleri tam yükleme ile başlar (bu sırada seçilen tüm tablolar yerleştirilir).

     Bilgi notuDDL işlemlerinin CDC'si (Değişiklik Verisi Yakalama) desteklenmez.

     Veri Hareketi ağ geçidi ile çalışırken değişiklikler, kaynaktan neredeyse gerçek zamanlı olarak yakalanır. Veri Hareketi ağ geçidi olmadan çalışırken değişiklikler, zamanlayıcı ayarlarına göre yakalanır. Daha fazla bilgi için bk. Veri Hareketi ağ geçidi olmadan çalışırken görevleri zamanlama.

   • Yeniden yükle: Seçilen kaynak tablolardan hedef platforma verilerin tam yüklemesini gerçekleştirir ve gerekirse hedef tabloları oluşturur. Tam yük, görev başlatıldığında otomatik olarak gerçekleşir ancak manuel olarak da gerçekleştirilebilir veya gerektiğinde periyodik olarak gerçekleşecek şekilde zamanlanabilir.

   Değişiklik verisi yakalama (CDC) seçeneğini belirlerseniz ve verileriniz CDC'yi desteklemeyen tablolar veya görünümler içeriyorsa iki veri işlem hattı oluşturulacaktır. CDC'yi destekleyen tüm tabloları içeren bir işlem hattı ve Yeniden yükle seçeneğini kullanan diğer tüm tablolar ve görünümlerin bulunduğu başka bir işlem hattı.

   Kullanılacak klasör:

   Dosyaların hangi demet klasörüne yazılmasını istediğinize göre aşağıdakilerden birini seçin:

   • Varsayılan klasör: Varsayılan klasör biçimi <proje-adınız>/<görev-adınız> şeklindedir
   • Kök klasör: Dosyalar doğrudan demetyazılacaktır.

   • Klasör: Klasör adını girin. Klasör mevcut değilse veri gölü yerleştirme görevi sırasında oluşturulacaktır.

     Bilgi notu Klasör adı özel karakterler içeremez (örneğin, @, #, !, vb.).

9. Özet sekmesinde, veri hattının bir görseli görüntülenir. <name> görevini aç veya Hiçbir şey yapma seçeneklerinden birini seçin. Ardından Oluştur'a tıklayın.

   Seçiminize bağlı olarak ya görev açılacak ya da projelerin bir listesi görüntülenecektir.

10. Görevi açmayı seçtiyseniz Veri Kümeleri sekmesi seçilen veri varlığı tablolarının yapısını ve meta verilerini gösterecektir. Bu, açıkça listelenen tüm tabloların yanı sıra seçim kurallarıyla eşleşen tabloları da içerir.

    Veri kaynağından daha fazla tablo eklemek isterseniz, Kaynak verilerini seç'e tıklayın.

11. İsteğe bağlı olarak, görev ayarını Bulut depolama alanı hedefleriyle ilgili ayarlar bölümünde açıklandığı gibi değiştirin.

12. Veri setlerinde dönüştürmeler gerçekleştirebilir, verileri filtreleyebilir veya sütunlar ekleyebilirsiniz.

    Daha fazla bilgi için bk. Veri kümelerini yönetme.

13. İstediğiniz dönüşümleri eklediğinizde Veri kümelerini doğrula'ya tıklayarak veri kümelerini doğrulayabilirsiniz. Doğrulama başarısız olursa devam etmeden önce hataları giderin.

    Veri kümelerini doğrulama ve ayarlama

14. Hazır olduğunuzda, yerleşirme görevini kataloğa alıp yürütme için hazırlamak üzere Hazırla'ya tıklayın.

15. Veri görevi hazırlandığında Çalıştır'a tıklayın.

16. Veri gölü iniş görevi şimdi başlayacaktır. İlerlemesini İzleme görünümünde izleyebilirsiniz. Daha fazla bilgi için bk. Ayrı bir veri görevini izleme

Veri setleri için yükleme önceliği ayarlama

Her bir veri setine bir yükleme önceliği atayarak veri görevinizde veri setlerinin yükleme sırasını kontrol edebilirsiniz. Bu, örneğin büyük veri setlerinden önce daha küçük veri setlerini yüklemek isterseniz faydalı olabilir.

1. Yükleme önceliği'ne tıklayın.

2. Her bir veri seti için bir yükleme önceliği seçin.

   Varsayılan yükleme önceliği Normal'dir. Veri setleri aşağıdaki öncelik sırasında göre yüklenecektir:

   • En yüksek

   • Daha yüksek

   • Yüksek

   • Normal

   • Düşük

   • Daha düşük

   • En düşük

   Aynı önceliğe sahip veri setleri belirli bir sıra olmadan yüklenir.

3. OK düğmesine tıklayın.

Meta veriler yenileniyor

Görevin Tasarım görünümündeki kaynağın meta verilerindeki değişikliklerle hizalanması için görevdeki meta verileri yenileyebilirsiniz. Metadata manager'ın kullanıldığı SaaS uygulamalarında, veri görevinde meta verileri yenileyebilmeniz için önce Metadata manager'ın yenilenmesi gerekir.

1. Seçenekleriniz:

   • Görevdeki tüm veri kümelerinin meta verilerini yenilemek için ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   • Tek bir veri kümesindeki meta verilerini yenilemek için Veri kümeleri bölümündeki bir veri kümesinde ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   Ekranın alt kısmındaki Meta verileri yenile seçeneğinin altında meta verilerin yenilenme durumunu görüntüleyebilirsiniz. İmleci üzerine getirerek meta verilerin en son yenilendiği zamanı görebilirsiniz.

2. Değişiklikleri uygulamak için veri görevini hazırlayın.

   Veri görevini hazırladığınızda ve değişiklikler uygulandığında değişiklikler Meta verileri yenile kısmından kaldırılır.

Değişiklikleri çoğaltmak için bu görevi kullanan depolama görevlerini hazırlamanız gerekir.

Bir sütun kaldırılırsa depolamanın geçmiş verileri kaybetmemesi için Null değerleri içeren bir dönüşüm eklenir.

Meta verileri yenileme ile ilgili sınırlamalar

• Bundan önce aynı zaman aralığında kullanımdan kaldırılmış bir sütunla yeniden adlandırma, aynı veri türüne ve veri uzunluğuna sahipse kullanımdan kaldırılan sütun yeniden adlandırmasına dönüştürülür.

  Örnek:  

  Önce: a b c d

  Sonra: a c1 d

  Bu örnekte b kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmış ve b ile c aynı veri türüne ve veri uzunluğuna sahiptir.

  Bu, b'nin c1 olarak yeniden adlandırılması ve c'nin kullanımdan kaldırılması olarak tanımlanacaktır.

• Son sütun kullanımdan kaldırılsa ve ondan önceki yeniden adlandırılsa bile son sütun yeniden adlandırması algılanmaz.

  Örnek:  

  Önce: a b c d

  Sonra: a b c1

  Bu örnekte d kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmıştır.

  Bu, c ve d'nin kullanımdan kaldırılması ve c1'in eklenmesi olarak tanımlanacaktır.

• Sona yeni sütunların ekleneceği varsayılır. Sütunlar sonraki sütun olarak aynı veri türüyle ortaya eklenirse kullanımdan kaldırma ve yeniden adlandırma olarak yorumlanabilirler.

Şema değişimi

Şema değişimi, birden fazla veri kaynağındaki yapısal değişiklikleri kolayca tespit etmenize ve ardından bu değişikliklerin görevinize nasıl uygulanacağını kontrol etmenize olanak tanır. Şema değişimi, kaynak veri şemasında yapılan DDL değişikliklerini tespit etmek için kullanılabilir. Bazı değişiklikleri otomatik olarak da uygulayabilirsiniz.

Her değişiklik türü için, görev ayarlarının Şema değişimi bölümünde değişikliklerin nasıl ele alınacağını seçebilirsiniz. Değişikliği uygulayabilir, değişikliği yok sayabilir, tabloyu askıya alabilir veya görev işlemeyi durdurabilirsiniz.

Her değişiklik türü için DDL değişikliğini işlemek üzere hangi eylemin kullanılacağını ayarlayabilirsiniz. Bazı eylemler tüm değişiklik türleri için mevcut değildir.

• Hedefe uygula

  Değişiklikleri otomatik olarak uygulayın.

• Yoksay

  Değişiklikleri görmezden gelin.

• Tabloyu askıya al

  Tabloyu askıya alın. Tablo, İzleme'de hatalı olarak görüntülenecektir.

• Görevi durdurun

  Görevin işlenmesini durdurun. Bu, tüm şema değişikliklerini manuel olarak işlemek istiyorsanız kullanışlıdır. Bu zamanlamayı da durduracaktır, yani zamanlanmış çalıştırmalar gerçekleştirilmeyecektir.

Aşağıdaki değişiklikler desteklenmektedir:

• Sütun ekle

• Sütunu yeniden adlandır

• Sütun veri türünü değiştir

• Seçim deseniyle eşleşen tablo ekleme
  

  Bir desenle eşleşen veri kümeleri eklemek için bir Seçim kuralı kullandıysanız desene uyan yeni tablolar algılanacak ve eklenecektir.

Görev ayarları hakkında daha fazla bilgi için bkz. Şema değişimi.

Şema evrimi ile işlenen değişiklikler hakkında da bildirim alabilirsiniz. Daha fazla bilgi için bk. Çalışma değişiklikleriyle ilgili bildirim ayarlama.

Şema değişimi ile ilgili sınırlamalar

Şema değişimi için aşağıdaki sınırlamalar geçerlidir:

• Şema değişimi yalnızca güncelleme yöntemi olarak CDC kullanıldığında desteklenir.

• Şema değişimi ayarlarını değiştirdiğinizde görevi tekrar hazırlamanız gerekir.

• Tabloları yeniden adlandırırsanız şema değişimi desteklenmez. Bu durumda, görevi hazırlamadan önce meta verileri yenilemeniz gerekir.

• Bir görev tasarlıyorsanız şema değişimi değişikliklerini almak için tarayıcıyı yenilemeniz gerekir. Değişikliklerle ilgili uyarı almak için bildirimler ayarlayabilirsiniz.

• Yerleştirme görevlerinde bir sütunun bırakılması desteklenmez. Bir sütunun bırakılması ve eklenmesi tablo hatasına neden olur.

• Yerleştirme görevlerinde, tabloyu bırakma işlemi tabloyu bırakmaz. Bir tablonun bırakılması ve ardından bir tablo eklenmesi yalnızca eski tabloyu kesecek ve yeni bir tablo eklenmeyecektir.

• Bir sütunun uzunluğunun değiştirilmesi, hedef veritabanındaki desteğe bağlı olarak tüm hedefler için mümkün değildir.

• Bir sütun adı değiştirilirse o sütun kullanılarak tanımlanan açık dönüşümler, sütun adına dayalı oldukları için etkili olmayacaktır.

• Meta verileri yenileme ile ilgili sınırlamalar şema değişimi için de geçerlidir.

DDL değişikliklerini yakalarken aşağıdaki sınırlamalar geçerlidir:

• Kaynak veritabanında hızlı bir işlem dizisi gerçekleştiğinde (örneğin, DDL>DML>DDL) Qlik Talend Data Integration, günlüğü yanlış sırada ayrıştırarak eksik verilere veya öngörülemeyen davranışlara neden olabilir. Bunun gerçekleşme olasılığını en aza indirmek için en iyi uygulama, bir sonraki işlemi gerçekleştirmeden önce değişikliklerin hedefe uygulanmasını beklemektir.

  Bunun bir örneği olarak, değişiklik yakalama sırasında, bir kaynak tablo hızlı bir şekilde art arda birden fazla kez yeniden adlandırılırsa (ve ikinci işlem onu orijinal adına geri döndürürse) tablonun hedef veritabanında zaten var olduğuna dair bir hatayla karşılaşılabilir.

• Bir görevde kullanılan tablonun adını değiştirir ve ardından görevi durdurursanız görev yeniden başlatıldıktan sonra Qlik Talend Data Integration, bu tabloda yapılan değişiklikleri yakalayamaz.

• Bir görev durdurulmuşken kaynak tablonun yeniden adlandırılması desteklenmez.

• Bir tablonun Birincil Anahtar sütunlarının yeniden tahsis etmesi desteklenmez (ve bu nedenle DDL Geçmiş Kontrol tablosuna yazılmaz).
• Bir sütunun veri türü değiştirildiğinde ve (aynı) sütun daha sonra görev durdurulurken yeniden adlandırıldığında DDL değişikliği, DDL Geçmişi Kontrol tablosunda "Sütunu Bırak" ve ardından görev yeniden başlatıldığında "Sütun Ekle" olarak görünecektir. Aynı davranışın uzun süreli gecikmenin bir sonucu olarak da ortaya çıkabileceğini unutmayın.
• Bir görev durdurulurken kaynak üzerinde gerçekleştirilen CREATE TABLE işlemleri, görev devam ettirildiğinde hedefe uygulanır, ancak DDL Geçmişi Kontrol tablosuna DDL olarak kaydedilmez.

• Meta veri değişiklikleriyle ilişkili işlemler (ALTER TABLE, reorg, kümelenmiş bir dizini yeniden oluşturma vb. gibi), aşağıdakilerden birinde gerçekleştirilirse öngörülemeyen davranışlara neden olabilir:

  • Tam Yük Sırasında

    -VEYA-

  • Değişiklikleri şu tarihten itibaren işlemeye başlayın: zaman damgası ile geçerli saat (yani kullanıcının Gelişmiş Çalıştırma Seçenekleri iletişim kutusunda Tamam'a tıkladığı an) arasında.

    Örnek:

    IF:

    Belirtilen Değişiklikleri şu tarihten itibaren işlemeye başlayın: saati 10.00'dur.

    AND:

    Çalışanlar tablosuna saat 10.10'da Yaş adlı bir sütun eklendi.

    AND:

    Kullanıcı saat 10.15'te Gelişmiş Çalıştırma Seçenekleri iletişim kutusunda Tamam'a tıklar.

    THEN:

    Saat 10.00 ile 10.10 arasında gerçekleşen değişiklikler CDC hatalarına neden olabilir.

  Bilgi notu

  Yukarıdaki durumlardan herhangi birinde, verilerin hedefe düzgün bir şekilde moved işlemini yapabilmesi için etkilenen tabloların yeniden yüklenmesi gerekir.

• DDL deyimi ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> varsayılan değeri hedefe çoğaltmaz ve yeni/değiştirilmiş sütun NULL olarak ayarlanır. Sütunu ekleyen/değiştiren DDL, geçmişte yürütülmüş olsa bile bu durumun gerçekleşebileceğini unutmayın. Yeni/değiştirilen sütun null değer atanabilir ise kaynak uç noktası, DDL'nin kendisini günlüğe kaydetmeden önce tüm tablo satırlarını günceller. Sonuç olarak Qlik Talend Data Integration, değişiklikleri yakalar ancak hedefi güncellemez. Yeni/değiştirilmiş sütun NULL olarak ayarlandığından, hedef tabloda Birincil Anahtar/Benzersiz Dizin yoksa sonraki güncellemeler "sıfır satır etkilendi" mesajı oluşturur.

• TIMESTAMP ve DATE kesinlik sütunlarında yapılan değişiklikler yakalanmayacaktır.

Verileri veri gölüne yerleştirirken sınırlamalar ve dikkate alınacak noktalar

Dönüşümler aşağıdaki sınırlamalara tabidir:

• Dönüşümler, sağdan sola dillerin bulunduğu sütunlar için desteklenmez.

• Dönüşümler, adında özel karakterler (ör. #, \, /, -) bulunan sütunlarda gerçekleştirilemez.

• LOB/CLOB veri türleri için desteklenen tek dönüşüm, hedefteki sütunu kullanımdan kaldırmaktır.
• Bir sütunu yeniden adlandırmak ve ardından aynı ada sahip yeni bir sütun eklemek için dönüşüm kullanılması desteklenmemektedir.

İster doğrudan ister dönüşüm kuralı kullanarak olsun, null değer alabilme özelliğini değiştirme işlemi, taşınan sütunlarda desteklenmez. Ancak görevde oluşturulan yeni sütunlar varsayılan olarak null değer atanabilir niteliktedir.