Veri kaynaklarından veri yerleştirme

Ürün Bilgileri ve Tanıtım sırasında veri aktarımının ilk adımı verileri yerleştirmektir. Burada, şirket veri kaynaklarından bir yerleştirme alanına sürekli veri aktarılması söz konusudur.

Kaynak bağlantıları aracılığıyla çok sayıda veri kaynağından veri yerleştirebilirsiniz.

Projeyi oluşturduğunuzda yerleştirme alanı tanımlıdır.

• Qlik Cloud (aracılığıyla Amazon S3)

  Qlik Cloud öğesine veri yerleştirdiğinizde (Amazon S3 aracılığıyla) bunu Qlik Cloud içinde analiz için hazır QVD tabloları oluşturmak üzere kullanabilirsiniz.

• Bulut veri deposu

  Verileri Snowflake veya Azure Synapse Analytics gibi bir bulut veri deposuna yerleştirdiğinizde, tabloları aynı bulut veri deposunda saklayabilirsiniz.

Yerleştirme veri görevi oluşturma ve yapılandırma

Bu, bir yerleştirme veri görevinin nasıl oluşturulacağını anlatmaktadır. Veri işlem hattı oluşturmanın en hızlı yolu sisteme veri almaktır ve bu, hazırlayıp çalıştırmak için hazır bir yerleştirme veri görevi ve depolama veri görevi oluşturur. Daha fazla bilgi için bkz. Verileri buluta alma.

1. Projenizde Yeni ekle'ye tıklayın ve Veri yerleştir'i seçin.

2. Veri yerleştir diyaloğunda veri görevi için bir ad ve açıklama girin.

   Oluşturulduğunda yerleştirme veri görevini açmak için Aç'ı seçin.

   Oluştur'a tıklayın.

3. Kaynak verileri seç'e tıklayın.

4. Kaynak veriye bir bağlantı seçin ve İleri'ye tıklayın.

   Bağlantılar listesini kaynak türüne, alan ve sahibe göre filtrelemek için sol paneldeki filtreleri kullanabilirsiniz.

   Veri kaynağına henüz bir bağlantınız yoksa önce Bağlantı ekle'ye tıklayarak bir tane oluşturmanız gerekir.

   Desteklenen veri kaynaklarına bir bağlantı kurma hakkında daha fazla bilgi için bkz. Veri kaynakları ile bağlantılar ayarlama.

   Bilgi notuSonraki adımda tablolar seçtiğinizde, kaynak bağlantısını bir şirket içi veri kaynağından bir bulut veri kaynağına veya bunun aksine çevirmek mümkün değildir. Yalnızca aynı türde bir veri kaynağına bağlantıyı değiştirebilirsiniz.

5. Veri görevine dahil edilecek veri kümelerini seçin. Seçim diyalog penceresi bağlandığınız kaynağın türüne göre farklı olur.

   Tablo seçimini tamamladığınıza Kaydet'e tıklayın.

   Veri kümeleri görüntülenir.

6. Yerleştirme ayarlarını değiştirebilirsiniz. Bu gerekli değildir.

   • Ayarlar'a tıklayın.

   Ayarlar hakkında daha fazla bilgi için bkz. Yerleştirme ayarları.

7. Artık seçili veri varlıkları tablosunun yapısını ve meta verilerini önizleyebilirsiniz. Buna tüm açıkça listelenen tablolar ve seçim kurallarıyla eşleşen tablolar dahildir.

   Veri kaynağından daha fazla tablo eklemek isterseniz, Kaynak verilerini seç'e tıklayın.

8. Veri setlerinde verileri filtreleme veya sütunlar ekleme gibi temel dönüştürmeler gerçekleştirebilir. Bu gerekli değildir.

   Daha fazla bilgi için bkz. Veri kümelerini yönetme.

9. İstediğiniz dönüşümleri eklediğinizde Veri kümelerini doğrula'ya tıklayarak veri kümelerini doğrulayabilirsiniz. Doğrulama hatalar bulursa, devam etmeden önce hataları düzeltin.

   Daha fazla bilgi için bkz. Veri kümelerini doğrulama ve ayarlama.

10. Hazır olduğunuzda, veri görevini kataloğa alıp yürütme için hazırlamak üzere Hazırla'ya tıklayın.

    İlerlemeyi ekranın alt tarafındaki Hazırlığın ilerleme durumu altında takip edebilirsiniz.

11. Veri görevi hazırlandığında ve verileri çoğaltmaya başlamak için hazır olduğunuzda Çalıştır'a tıklayın.

Artık çoğaltma başlamalıdır. İlerlemeyi İzle'de görebilirsiniz. Ayrı bir veri görevini izleme

Veritabanından veri seçme

Belirli tabloları veya görünümleri seçebilir veya tablo gruplarını dahil etmek veya hariç tutmak için seçim kurallarını kullanabilirsiniz.

Şemalara ve tablolara yönelik seçim ölçütleri tanımlamak için joker karakter olarak % kullanın.

• %.% tüm tablolardaki tüm şemaları tanımlar.

• Public.%, Public içindeki tüm şemaları tanımlar.

Seçim ölçütleri seçimlerinize bağlı olarak size bir önizleme sunar.

Artık şunları yapabilirsiniz:

• Seçim kriterlerine göre bir grup tabloyu dahil etmek veya hariç tutmak için bir kural seçin.

  Kural oluşturmak için Seçim kriterlerinden kural ekle'ye tıklayın ve Dahil et'i veya Hariç tut'u seçin.

  Kuralı Seçim kuralları altında görebilirsiniz.

• Bir veya daha fazla veritabanını seçin ve Seçili veri kümelerini ekle'ye tıklayın.

  Eklenen veri kümelerini Açık olarak seçilen veri kümeleri altında görebilirsiniz.

Seçim kuralları yalnızca geçerli tablo ve görünüm kümesine uygulanır; gelecekte eklenen tablo ve görünümlere uygulanmaz.

Değişiklik verisi yakalama (CDC) ile yerleştirme görevi çalıştırma

Hazırlandığında yerleştirme görevini çalıştırabilirsiniz. Bu, verileri şirket içi veri kaynağından yerleştirme alanına aktaran çoğaltma işlemini başlatır.

• Verileri yerleştirmeye başlamak için Çalıştır'a tıklayın.

Bu noktada çoğaltma başlamalıdır; veri görevinin durumu Çalışıyor olacaktır. Önce tüm veri kaynağı kopyalanır, ardından değişiklikler izlenir. Bu, değişikliklerin sürekli olarak izlendiği ve keşfedildiği anda aktarıldığı anlamına gelir. Bu, yerleştirme alanındaki yerleştirme verilerini güncel halde tutar.

Qlik Talend Data Integration ana sayfasından, yerleştirme verilerinin ne zaman güncellendiği tarih/saati, durumunu ve hatalı tablo sayısını görüntüleyebilirsiniz. Ayrıca, tablolara yönelik temel meta veri bilgilerini görüntülemek için veri görevini açabilir ve Tablolar sekmesini seçebilirsiniz.

İzle sekmesini açarak ilerlemeyi ayrıntılı olarak izleyebilirsiniz. Daha fazla bilgi için bk. Ayrı bir veri görevini izleme.

Tüm tablolar yüklenip ilk değişiklik kümesi işlendiğinde, veri görevi kartındaki Veriler şuna güncellendi o zamana dek yapılan kaynak değişikliklerinin veri görevinde mevcut olduğunu gösterir.

Tabloları yeniden yükleme

Kaynaktan yeniden veri yükleyebilirsiniz.

Tek tabloları yeniden yükleme

Değişiklik verisi yakalamayla müdahalede bulunmadan belirli tabloları elle yeniden yükleyebilirsiniz. Bu, bir veya daha fazla tabloda CDC sorunları olduğunda faydalıdır.

1. Yerleştirme veri görevini açın ve Monitör sekmesini seçin.

2. Yeniden yüklemek istediğiniz tabloları seçin.

3. Tabloları yeniden yükle'ye tıklayın.

Tabloları yeniden yükleyerek sorunları çözemezseniz veya bu sorunlar görevin tamamını etkiliyorsa bunun yerine tüm tabloları hedefe yeniden yükleyebilirsiniz. Bu, değişilik verisi yakalamayı yeniden başlatır.

Tüm tabloları hedefe yeniden yükleme

Belirli tabloları yeniden yükleyerek çözülemeyen CDC sorunları yaşıyorsanız tüm tabloları hedefe yeniden yükleyebilirsiniz. Sorun örnekleri; eksik olaylar, kaynak veri tabanı yeniden düzenlemesinden kaynaklanan sorunlar veya kaynak veri tabanı olaylarını okurken hata oluşmasıdır.

1. Veri görevini ve veri görevini tüketen tüm görevlerini durdurun.

2. Veri görevini açın ve Monitör sekmesini seçin.

3. ... ve ardından Hedefi yeniden yükle'ye tıklayın.

Bu, Bırak-Oluştur işlemini kullanarak tüm tabloları hedefe yeniden yükler ve şu andan itibaren tüm değişiklik verisi yakalama işlemlerini yeniden başlatır.

• Yerleştirme veri görevini tüketen depolama görevleri, senkronize edilmek üzere bir sonraki çalıştırmada karşılaştırma ve uygulama aracılığıyla yeniden yüklenecektir. Mevcut geçmiş saklanacaktır. 2. tür geçmiş, yeniden yükleme ve karşılaştırma işlemi gerçekleştirildikten sonra değişiklikleri yansıtacak şekilde güncellenecektir.

  2. tür geçmişteki başlangıç tarihinin zaman damgası, yeniden yükleme tarihini yansıtacaktır, ancak değişikliğin kaynakta gerçekleştiği tarihi yansıtmayabilir.

• Depolama canlı görünümleri, hedefi yeniden yükleme işlemi sırasında ve depolama senkronize olana kadar güvenilir olmayacaktır. Depolama aşağıdaki durumlarda tam olarak senkronize olacaktır:

  • Tüm tablolar karşılaştır ve uygula işlemi kullanılarak yeniden yüklendiğinde,

  • Her tablo için bir değişiklik döngüsü gerçekleştirildiğinde.

Yeniden yükle ve karşılaştır ile bir açılış verisi görevi çalıştırma

Hazırlandığında yerleştirme veri görevini kullanarak veri kopyalayabilirsiniz.

• Tam yüklemeyi başlatmak için Çalıştır öğesine tıklayın.

Veriler şimdi kopyalanmaya başlayacak ve veri görevi Çalışıyor durumunda olacaktır. Veri kaynağının tamamı kopyalandığında durum Tamamlandı olur.

Qlik Talend Data Integration ana sayfasından, yerleştirme verilerinin ne zaman güncellendiği tarih/saati, durumunu ve hatalı tablo sayısını görüntüleyebilirsiniz. Ayrıca, tablolara yönelik temel meta veri bilgilerini görüntülemek için veri görevini açabilir ve Tablolar sekmesini seçebilirsiniz.

İzle sekmesini açarak ilerlemeyi ayrıntılı olarak izleyebilirsiniz. Ayrı bir veri görevini izleme

Tüm tablolar yüklendiğinde, veri görevi kartındaki Veriler şuna güncellendi, o zamana dek yapılan kaynak değişikliklerinin veri varlığında mevcut olduğunu gösterir. Ancak veri görevinin bazı tabloları, ne zaman yüklenmeye başladıklarına bağlı olarak daha sonraki bir zamana güncellenebilir. Bu, veri tutarlılığının garantilenemeyeceği anlamına gelir. Örneğin, yükleme 08:00'de başladı ve 4 saat sürdüyse, yükleme tamamlandığında Veriler şuna güncellendi 08:00'ı gösterir. Ancak 11:30'da yeniden yüklenmeye başlayan bir tablo, 08:00 ile 11:30 arasında gerçekleşen kaynak değişikliklerini içerir.

Veriler şuna güncellendi yalnızca başarıyla yüklenen tabloları yansıtır. Tablolarla ilgili olarak, yeniden yüklemelerinin başarısız olduğuna dair hiçbir şey göstermez. Bulut hedeflerinde, tüm tablolar hatalı olarak yeniden yükleme tamamlanırsa, alan boş olacaktır.

Yeniden yükle ve karşılaştır kullanırken verileri yeniden yükleme

Güncelleme yöntemi olarak Yeniden yükle ve karşılaştır kullanırken, veri kaynağıyla güncel halde tutmak için verileri yeniden yüklemeniz gerekir.

• Tüm tabloları manuel olarak yeniden yüklemek için Yeniden yükle'ye tıklayın.

• Planlanmış bir yeniden yükleme ayarlayın.

Tek tabloları yeniden yükleme

Belirli tabloları elle yeniden yükleyebilirsiniz. Bu, bir veya daha fazla tabloda sorunlar olduğunda faydalıdır.

1. Yerleştirme veri görevini açın ve Monitör sekmesini seçin.

2. Yeniden yüklemek istediğiniz tabloları seçin.

3. Tabloları yeniden yükle'ye tıklayın.

Yeniden yükle ve karşılatır yerleştirme verisi görevini zamanlama

Veri görevinin alanında İşletebilir rolüne sahipseniz, yerleştirme veri görevi için düzenli aralıklarla yeniden yüklemeler planlayabilirsiniz. Zamanlamanın etkin olması için veri görevi durumu en az Hazır olmalıdır.

• Bir veri görevinde ... öğesine tıklayın ve Zamanlama'yı seçin.

  Saat tabanlı bir zamanlama ayarlayabilirsiniz.

  Veri kaynağı türü ve abonelik kademesine göre minimum zamanlama aralıkları hakkında bilgi için bkz. İzin verilen minimum zamanlama aralıkları.

Veri setleri için yükleme önceliği ayarlama

Her bir veri setine bir yükleme önceliği atayarak veri görevinizde veri setlerinin yükleme sırasını kontrol edebilirsiniz. Bu, örneğin büyük veri setlerinden önce daha küçük veri setlerini yüklemek isterseniz faydalı olabilir.

1. Yükleme önceliği'ne tıklayın.

2. Her bir veri seti için bir yükleme önceliği seçin.

   Varsayılan yükleme önceliği Normal'dir. Veri setleri aşağıdaki öncelik sırasında göre yüklenecektir:

   • En yüksek

   • Daha yüksek

   • Yüksek

   • Normal

   • Düşük

   • Daha düşük

   • En düşük

   Aynı önceliğe sahip veri setleri belirli bir sıra olmadan yüklenir.

3. OK düğmesine tıklayın.

Yerleştirme veri göreviyle ilgili işlemler

Görev menüsünden bir yerleştirme veri görevinde aşağıdaki işlemleri yapabilirsiniz.

• Aç

  Bu, yerleştirme veri görevini açar. Tablo yapısını ve veri görevinin ayrıntılarını görüntüleyebilirsiniz.

• Düzenle

  Görevin adını ve açıklamasını düzenleyebilirsiniz.

• Sil

  Veri görevini silebilirsiniz.

  Aşağıdaki nesneler silinmez ve manuel olarak silinmeleri gerekir:

  • Yerleştirme alanındaki veriler.

• Çalıştır

  Verileri kopyalamaya başlamak için veri görevini çalıştırabilirsiniz.

  Değişiklik verisi yakalama (CDC) ile yerleştirme görevi çalıştırma

  Yeniden yükle ve karşılaştır ile bir açılış verisi görevi çalıştırma

• Durdur

  Çalışmakta olan veri görevi işlemini durdurabilirsiniz. Yerleştirme alanı değişen verilerle güncellenmez.

  Bir tam yükleme veri görevini bir yeniden yükleme planlaması ile durdurduğunuzda, yalnızca mevcut yeniden yükleme durdurulur. Veri görevi durumu Durdu ise ve etkin bir yeniden yükleme planlaması varsa, planlanan bir sonraki zamanda yeniden yükleme yapılır. Yeniden yüklemeyi zamanla'daki yeniden yükleme zamanlamasını kapatmalısınız.

• Yeniden yükle

  Yeniden yükle ve karşılaştır güncelleme modunda bir veri görevini manuel olarak yeniden yükleyebilirsiniz.

• Hazırla

  Görevi yürütülmeye hazırlar. Şunlar dahildir:

  • Tasarımın geçerli olduğunu doğrulama.

  • Fiziksel tabloları ve görünümleri tasarımla eşleşecek şekilde oluşturma veya değiştirme.

  • Veri görevi için SQL kodunu oluşturma.

  • Görev çıkışı veri kümeleri için katalog girişlerini oluşturma veya değiştirme.

  İlerlemeyi ekranın alt tarafındaki Hazırlığın ilerleme durumu altında takip edebilirsiniz.

• Tabloları yeniden oluştur

  Veri kümelerini kaynaktan yeniden oluşturur.

• Zamanlama

  Tam yükleme modunda yerleştirme veri görevleri için zamanlanmış bir yeniden yükleme ayarlayabilirsiniz. Özelleştirilebilir bir saat tabanlı zamanlama ayarlayabilirsiniz.

  Ayrıca planlanmış yeniden yüklemeleri açabilir veya kapatabilirsiniz.

  Yeniden yükleme planlamak için veri görevinin alanında İşletebilir rolüne sahip olmalısınız.

• Verileri depola

  Bu yerleştirme veri görevindeki verileri kullanan bir depolama veri görevi oluşturabilirsiniz.

Meta veriler yenileniyor

Görevin Tasarım görünümündeki kaynağın meta verilerindeki değişikliklerle hizalanması için görevdeki meta verileri yenileyebilirsiniz. Metadata manager'ın kullanıldığı SaaS uygulamalarında, veri görevinde meta verileri yenileyebilmeniz için önce Metadata manager'ın yenilenmesi gerekir.

1. Seçenekleriniz:

   • Görevdeki tüm veri kümelerinin meta verilerini yenilemek için ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   • Tek bir veri kümesindeki meta verilerini yenilemek için Veri kümeleri bölümündeki bir veri kümesinde ... ve ardından Meta verileri yenile seçeneğine tıklayın.

   Ekranın alt kısmındaki Meta verileri yenile seçeneğinin altında meta verilerin yenilenme durumunu görüntüleyebilirsiniz. İmleci üzerine getirerek meta verilerin en son yenilendiği zamanı görebilirsiniz.

2. Değişiklikleri uygulamak için veri görevini hazırlayın.

   Veri görevini hazırladığınızda ve değişiklikler uygulandığında değişiklikler Meta verileri yenile kısmından kaldırılır.

Değişiklikleri çoğaltmak için bu görevi kullanan depolama görevlerini hazırlamanız gerekir.

Bir sütun kaldırılırsa depolamanın geçmiş verileri kaybetmemesi için Null değerleri içeren bir dönüşüm eklenir.

Sınırlamalar

• Bundan önce aynı zaman aralığında kullanımdan kaldırılmış bir sütunla yeniden adlandırma, aynı veri türüne ve veri uzunluğuna sahipse kullanımdan kaldırılan sütun yeniden adlandırmasına dönüştürülür.

  Örnek:  

  Önce: a b c d

  Sonra: a c1 d

  Bu örnekte b kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmış ve b ile c aynı veri türüne ve veri uzunluğuna sahiptir.

  Bu, b'nin c1 olarak yeniden adlandırılması ve c'nin kullanımdan kaldırılması olarak tanımlanacaktır.

• Son sütun kullanımdan kaldırılsa ve ondan önceki yeniden adlandırılsa bile son sütun yeniden adlandırması algılanmaz.

  Örnek:  

  Önce: a b c d

  Sonra: a b c1

  Bu örnekte d kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmıştır.

  Bu, c ve d'nin kullanımdan kaldırılması ve c1'in eklenmesi olarak tanımlanacaktır.

• Sona yeni sütunların ekleneceği varsayılır. Sütunlar sonraki sütun olarak aynı veri türüyle ortaya eklenirse kullanımdan kaldırma ve yeniden adlandırma olarak yorumlanabilirler.

Sütunları kaldırma

Geçmiş etkinken bir depolama veri görevi tarafından tüketilen bir sütunu bırakırsanız geçmişi korumak ve olası veri kaybını önlemek için bu adımları uygulamanız gerekir.

1. Yerleştirme veri görevini durdurun.

2. Tüm yerleştirme verilerinin okunduğundan emin olmak için depolama veri görevini çalıştırın.

3. Sütunu yerleştirmeye bırakın.

4. Yerleştirme veri görevini çalıştırın.

5. Depolama alanında, varsayılan ifadeye (Boş veya varsayılan değer) sahip sütunu ekleyin ya da sütunu bırakın.

Yerleştirme alanının bakımı

Yerleştirme alanının otomatik olarak temizlenmesi desteklenmez. Bu performansı etkileyebilir.
Yerleştirme alanındaki eski tam yükleme verilerinde manüel temizlik yapmanızı öneririz.

• Qlik Cloud (aracılığıyla Amazon S3)

  Tam yükleme verisine sahip birkaç klasör varsa, en son klasör dışındakilerin tümünü silebilirsiniz. Ayrıca işlenmiş olan değişiklik verisi bölümlerini de silebilirsiniz.

• Bulut veri deposu

  Tam yüklemeyi silebilir ve işlenmiş olan tablo kayıtlarını değiştirebilirsiniz.

Öneriler

• Bir kaynak tablodaki birincil anahtar güncellenebilirse Değişiklik İşleme Ayarlaması'nda bir birincil anahtar sütunu seçeneğini güncellerken SİL ve EKLE'yi etkinleştirin.

Sınırlamalar

• 8000 bayttan uzun varchar verileri veya 4000 bayttan uzun Nvarchar verileri desteklenmez.

• İster doğrudan ister dönüşüm kuralı kullanarak olsun, null değer alabilme özelliğini değiştirme işlemi, taşınan sütunlarda desteklenmez. Ancak görevde oluşturulan yeni sütunlar varsayılan olarak null değer atanabilir niteliktedir.

Dönüşümler aşağıdaki sınırlamalara tabidir:

• Dönüşümler, sağdan sola dillerin bulunduğu sütunlar için desteklenmez.

• Dönüşümler, adında özel karakterler (ör. #, \, /, -) bulunan sütunlarda gerçekleştirilemez.

• LOB/CLOB veri türleri için desteklenen tek dönüşüm, hedefteki sütunu kullanımdan kaldırmaktır.
• Bir sütunu yeniden adlandırmak ve ardından aynı ada sahip yeni bir sütun eklemek için dönüşüm kullanılması desteklenmemektedir.