Göl yerleştirme ayarları

Aşağıdaki Göl yerleştirme görevi ayarları, bir veritabanı veya SaaS kaynağı kullanan Qlik Açık Göl Evi projeleri için geçerlidir.

Göl yerleştirme veri görevi için ayarları yapılandırabilirsiniz.

• Yerleştirme görevini açın ve araç çubuğunda Ayarlar'a tıklayın.

Ayarlar: <Task-Name> diyalog penceresi açılır. Mevcut ayarlar aşağıda açıklanmıştır.

Genel

Güncelleme yöntemi

Yerleştirme görevi her zaman bir Tam Yükleme ile başlar. Tam Yükleme tamamlandıktan sonra yerleştirilen verileri aşağıdaki yöntemlerden birini kullanarak güncel tutabilirsiniz:

Bilgi notuYerleştirme veri görevi hazırlama işlemi tamamlandıktan sonra güncelleme yöntemini değiştirmek mümkün değildir.

• Değişiklik verisi yakalama (CDC)

  Yerleştirilen veriler CDC (Change Data Capture) teknolojisi kullanılarak güncel tutulur. CDC tüm veri kaynakları tarafından desteklenmeyebilir. CDC, sütunları yeniden adlandırma veya meta verilerde değişik yapma gibi DDL işlemlerini yakalamaz.

  Verileriniz CDC'yi desteklemeyen görünümler veya tablolar içeriyorsa iki veri işlem hattı oluşturulacaktır. CDC'yi destekleyen tüm tabloları içeren bir işlem hattı ve güncelleme yöntemi olarak Yeniden yükle seçeneğini kullanan diğer tüm tablolar ve görünümlerin bulunduğu başka bir işlem hattı.

• Yeniden yükle

  Yerleştirilen tüm veriler kaynaktan yeniden yüklenir. Kaynağınız CDC'yi desteklemiyorsa bu yararlı olabilir, ancak desteklenen her veri kaynağı ile kullanılabilir.

  Yeniden yüklemeleri düzenli aralıklarla zamanlayabilirsiniz.

  Bilgi notuBu ayar, SaaS uygulama Önizleme bağlayıcısı kullanırken kullanılamaz. Önizleme bağlayıcıları hem Bağlantı oluştur iletişim kutusunda hem de çevrimiçi yardımda bir düğmesiyle gösterilir.

Kullanılacak klasör

Hazırlama alanına veri yerleştirirken kullanılacak klasörü seçin.

• Varsayılan klasör

  Bu, <proje adı>/<veri görevi adı> varsayılan adıyla bir klasör oluşturur.

• Kök klasör

  Verileri depolama alanının kök klasöründe depola.

• Klasör

  Kullanılacak bir klasör adı belirtin.

Veri yükleme

Dosya öznitelikleri

Veri yüklemek için dosya ayarlarını yapılandırın.

• Alan sınırlayıcı

  Kaynak veri dosyasında kullanılan alan sınırlayıcı karakter. Varsayılan değer: ",".

• Null değer

  Kaynak veri dosyasındaki null değerlerin yerini alacak isteğe bağlı varsayılan dize.

• Kayıt sınırlayıcı

  Kaynak veri dosyasında kullanılan kayıt sınırlayıcı karakter. Varsayılan değer: "\n".

• Tırnak karakteri

  Kaynak veri dosyasında kullanılan tırnak karakteri. Varsayılan değer: """.

• Tırnak kaçış karakteri

  Kaynak veri dosyasında kullanılan tırnak kaçış karakteri. Varsayılan değer: """.

• Maksimum dosya boyutu (KB)

  Bir dosyanın kapatılmadan önce ulaşabileceği maksimum boyut. Küçük dosyalar daha hızlı yüklenir (ağa bağlı olarak) ve paralel yürütme seçeneğiyle birlikte kullanıldığında performansı iyileştirir. Ancak küçük dosyalarla veritabanını dağıtmak genellikle kötü bir uygulama olarak kabul edilir.

• Dosyaları şununla sıkıştır

  Seçildiğinde, CSV dosyaları GZIP kullanılarak sıkıştırılacaktır.

  Bilgi notu

  • Veri Hareketi ağ geçidi 2023.5.16 veya üzerini gerektirir.

Meta veriler

LOB sütunları

• LOB sütunlarını dahil et ve sütun boyutunu şu değerle sınırla (KB):

  Göreve LOB sütunlarını dahil etmeyi seçebilir ve maksimum LOB boyutunu ayarlayabilirsiniz. Maksimum boyuttan daha büyük olan LOB'lar kesilecektir.

Tam yük

Performans ince ayarı

• Paralel olarak yüklenecek maksimum tablo sayısı: Hedefe aynı anda yüklenecek maksimum tablo sayısını girin. Varsayılan değer: 5.

• İşlem tutarlılığı zaman aşımı (saniye): Tam Yük işlemini başlatmadan önce açık işlemlerin kapanması için beklenecek saniye sayısını girin. Varsayılan değer: 600 (10 dakika). Açık olan işlemler olsa bile zaman aşımı değerine ulaşıldıktan sonra tam yük başlatılacaktır.

  Bilgi notuTam Yük başladığında açık olan ancak yalnızca zaman aşımı değerine ulaşıldıktan sonra işlenen işlemleri çoğaltmak için hedef tabloları yeniden yüklemeniz gerekir.
• Tam yük sırasında işleme hızı: Birlikte aktarılabilecek maksimum olay sayısı. Varsayılan değer: 10000.

Tam yük tamamlandıktan sonra

Birincil anahtar veya benzersiz dizin oluştur: Veri platformunda birincil anahtarın veya benzersiz dizinin oluşturulmasını tam yük tamamlanana kadar ertelemek istiyorsanız bu seçeneği belirleyin.

Hata işleme

Veri kesme hataları için: Bir veya daha fazla belirli kayıtta kesilme meydana geldiğinde ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

• Yoksay: Görev devam eder ve hata yoksayılır.
• Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Diğer veri hataları için: Bir veya daha fazla belirli kayıtta hata oluştuğunda ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

• Yoksay: Görev devam eder ve hata yoksayılır.
• Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Diğer veri hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Kesilmeyen veri hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Hızlandırma eylemi: Hata işleme yükseltildiğinde ne olması gerektiğini seçin. Kullanılabilir eylemlerin yukarıda açıklanan Diğer veri hataları için açılır listesinden seçilen eyleme bağlı olduğunu unutmayın.

• Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri için landed işlemi yapılmaz.

• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Tablo hataları

Tablo hatası döndürmeden önceki yeniden deneme sayısı

Bu seçenek, tablo hata işleme ilkesinin ne zaman tetikleneceğini kontrol etmenizi sağlar. Varsayılan olarak, bir tablo hatasıyla karşılaşıldıktan sonra, üç yeniden denemeden sonra tablo askıya alınacak veya görev durdurulacaktır (seçilen eyleme göre). Bazen, SaaS uygulamasının planlı bakımı nedeniyle bir tablo hatası oluşur. Bu durumlarda, tablo hata işleme ilkesi tetiklenmeden önce bakımın tamamlanması için varsayılan yeniden deneme sayısı yeterli olmayabilir. Bu aynı zamanda görevin zamanlama aralığına da bağlıdır, çünkü görev her çalıştığında bir yeniden deneme gerçekleştirilecektir. Yani, örneğin, bir görevi her saat çalışacak şekilde zamanlarsanız ve görev çalışmaya başlar başlamaz SaaS uygulaması bakım için çevrimdışı duruma alınırsa, varsayılan üç yeniden deneme, tablo hata işleme ilkesi tetiklenmeden SaaS uygulamasının üç saate kadar çevrimdışı kalmasına izin verecektir. Daha uzun bir bakım penceresi, tablo hata işleme ilkesinin tetiklenmesini önlemek için yeniden deneme sayısını artırmanızı (veya zamanlamayı değiştirmenizi) gerektirir.

Özetle, SaaS uygulamanızın periyodik bakımdan geçtiğini biliyorsanız, en iyi uygulama, bakımın tablo hata işleme ilkesi tetiklenmeden tamamlanabilmesi için yeniden deneme sayısını zamanlamaya göre artırmaktır.

Tablo hatasıyla karşılaşıldığında: Açılır listeden aşağıdakilerden birini seçin:

• Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Tablo hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Tablo hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Eskalasyon eylemi: Tablo hataları için eskalasyon politikası Görevi durdur olarak ayarlanmıştır ve değiştirilemez.

Çevresel

• Maksimum yeniden deneme sayısı: Bu seçeneği seçin ve ardından kurtarılabilir bir çevresel hata oluştuğunda bir görevi yeniden denemek için maksimum deneme sayısını belirtin. Görev belirtilen sayıda tekrar denedikten sonra görev durdurulur ve manuel müdahale gerekir.

  Bir görevi asla yeniden denememek için onay kutusunun işaretini kaldırın veya "0" olarak belirtin.

  Bir görevi sonsuz sayıda yeniden denemek için "-1" belirtin

  • Yeniden deneme girişimleri arasındaki aralık (saniye): Sistemin bir görevi yeniden deneme denemeleri arasında bekleyeceği saniye sayısını seçmek veya yazmak için sayacı kullanın.

    Geçerli değerler 0-2.000 arasındadır.

• Uzun kesintiler için yeniden deneme aralığını artır: Uzun kesintilerde yeniden deneme aralığını artırmak için bu onay kutusunu seçin. Bu seçenek etkinleştirildiğinde, Maksimum yeniden deneme aralığına ulaşılana kadar (ve belirtilen maksimum aralığa göre yeniden denemeye devam eder) her bir yeniden deneme denemesi arasındaki aralığı iki katına çıkarır.
  • Maksimum yeniden deneme aralığı (saniye): Uzun kesintiler için yeniden deneme aralığını artır seçeneği etkinleştirildiğinde, bir görevi yeniden deneme denemeleri arasında beklenecek saniye sayısını seçmek veya yazmak için sayacı kullanın. Geçerli değerler 0-2.000 arasındadır.

Değişiklik işleme ince ayarı

İşlem boşaltma ince ayarı

Devam eden işlemleri şu durumda diske aktar:

İşlem verileri genellikle kaynak veya hedefe tamamen işlenene kadar bellekte tutulur. Ancak tahsis edilen bellekten daha büyük olan veya belirtilen zaman sınırı içinde işlenmeyen işlemler diske boşaltılır.

• Tüm işlemler için toplam bellek boyutu (MB): Tüm işlemlerin diske boşaltılmadan önce bellekte kaplayabileceği maksimum boyut. Varsayılan değer 1024'tür.
• İşlemlerin süresi (saniye) değerini aşıyor: Her bir işlemin diske boşaltılmadan önce bellekte kalabileceği maksimum süre. Süre, Qlik Talend Data Integration öğesinin işlemi yakalamaya başladığı andan itibaren hesaplanır. Varsayılan değer 60'tır.

Toplu iş ince ayarı

• İşlem başına minimum değişiklik sayısı: Her bir işleme dahil edilecek minimum değişiklik sayısı. Varsayılan değer 1000'dir.

  Bilgi notu

  Değişiklikler, değişiklik sayısı İşlem başına minimum değişiklik sayısı değerine eşit veya daha büyük olduğunda YA DA aşağıda açıklanan Uygulamadan önce toplu işlemler için maksimum süre (saniye) değerine erişildiğinde (hangisi önce olursa) hedefe uygulanır. Hedefe uygulanan değişikliklerin sıklığı bu iki parametre tarafından kontrol edildiğinden, kaynak kayıtlarda yapılan değişiklikler hedef kayıtlara hemen yansıtılmayabilir.

• Uygulamadan önce toplu işlemler için maksimum süre (saniye): Bir zaman aşımı bildirmeden önce işlemlerin toplu olarak toplanması için maksimum süre. Varsayılan değer 1'dir.

Çeşitli ince ayarlar

• İfadeler önbellek boyutu (ifade sayısı): Daha sonra yürütülmek üzere sunucuda depolanacak maksimum hazır ifade sayısı (değişiklikleri hedefe uygularken). Varsayılan değer 50'dir. Maksimum değer 200'dür.

• Bir birincil anahtar sütununu güncellerken DELETE ve INSERT: Bu seçenek, kaynak veritabanında tam ek günlük kaydının açılmasını gerektirir.

Şema evrimi

Şemadaki aşağıdaki DDL değişikliği türlerinin nasıl işleneceğini seçin. Şema evrimi ayarlarını değiştirdiğinizde görevi yeniden hazırlamanız gerekir. Aşağıdaki tabloda, desteklenen DDL değişiklikleri için hangi eylemlerin kullanılabilir olduğu açıklanmaktadır.

Karakter değiştirme

Hedef veritabanındaki kaynak karakterleri değiştirebilir ya da silebilirsiniz ve/veya seçilen bir karakter kümesi tarafından desteklenmeyen kaynak karakterleri değiştirebilir ya da silebilirsiniz.

Kaynak karakterleri değiştirme veya silme

Belirli kaynak karakterlerin yerine geçecekleri tanımlamak için Kaynak karakterleri değiştir veya sil tablosunu kullanın. Bu, örneğin bir karakterin Unicode gösteriminin kaynak ve hedef platformlarda farklı olduğu durumlarda yararlı olabilir. Örneğin, Linux'ta Shift_JIS karakter kümesindeki eksi karakteri U+2212 olarak gösterilir ancak Windows'da U+FF0D olarak gösterilir.

Seçili karakter seti tarafından desteklenmeyen kaynak karakterleri değiştirme veya silme

Seçilen karakter kümesi tarafından desteklenmeyen tüm karakterler için tek bir yedek karakter tanımlamak üzere Karakter kümesine göre desteklenmeyen kaynak karakterler tablosunu kullanın.

Diğer seçenekler

Bu seçenekler yalnızca belirli sürümler veya ortamlarla ilgili olduklarından kullanıcı arayüzünde gösterilmez. Sonuç olarak, Qlik Desteği veya ürün belgelerinde bunu yapmanız açıkça istenmedikçe bu seçenekleri belirlemeyin.

Bir seçeneği ayarlamak için seçeneği Özellik adı ekle alanına kopyalayıp Ekle'ye tıklayın. Ardından, aldığınız talimatlara göre değeri ayarlayın veya seçeneği etkinleştirin.

Veri kümesi segmentlerini paralel olarak yükleme

Tam yük sırasında, veri kümesini paralel olarak yüklenecek segmentlere ayırarak büyük veri kümelerinin yüklenmesini hızlandırabilirsiniz. Tablolar veri aralıklarına, tüm bölümlere, tüm alt bölümlere veya belirli bölümlere göre ayrılabilir.

Daha fazla bilgi için bkz. Veri kümesi segmentlerini paralel olarak yerleştirme

Veri Hareketi ağ geçidi olmadan çalışırken CDC görevlerini zamanlama

Veri Hareketi ağ geçidi, bir Qlik Talend Cloud Başlangıç Kılavuzu aboneliğiyle desteklenmez ve diğer abonelik katmanlarında isteğe bağlıdır. Veri Hareketi ağ geçidi olmadan çalışırken, bir zamanlama aralığı ayarlayarak hedef verileri güncel tutarsınız. Zamanlama, hedef veri kümelerinin kaynak veri kümelerindeki değişikliklerle ne sıklıkta güncelleneceğini belirler. Zamanlama güncelleme sıklığını belirlerken, veri kümesi türü güncelleme yöntemini belirler. Kaynak veri kümeleri CDC'yi (Değişiklik verilerini yakalama) destekliyorsa, yalnızca kaynak verilerdeki değişiklikler çoğaltılacak ve ilgili hedef tablolara uygulanacaktır. Kaynak veri kümeleri CDC'yi desteklemiyorsa (örneğin, Görünümler), değişiklikler tüm kaynak verilerin ilgili hedef tablolara yeniden yüklenmesiyle uygulanacaktır. Kaynak veri kümelerinin bazıları CDC'yi destekliyor ve bazıları desteklemiyorsa, iki ayrı alt görev oluşturulacaktır: biri CDC'yi desteklemeyen veri kümelerini yeniden yüklemek için, diğeri ise CDC'yi destekleyen veri kümelerindeki değişiklikleri yakalamak için. Bu durumda, veri tutarlılığını sağlamak için her iki alt görev için de aynı zamanlamanın ayarlanması önemle tavsiye edilir.

Veri kaynağı türü ve abonelik kademesine göre minimum zamanlama aralıkları hakkında bilgi için bkz. İzin verilen minimum zamanlama aralıkları.

Zamanlamayı değiştirmek için:

1. İşlem hattı projenizi açın ve ardından aşağıdakilerden birini yapın:

   • Görevler görünümünde, veri görevinin üzerindeki simgesine tıklayın ve Zamanlama seçeneğini belirleyin.
   • İşlem hattı görünümünde, veri görevinin üzerindeki simgesine tıklayın ve Zamanlama seçeneğini belirleyin.
   • Yerleştirme görevini açın ve Zamanlama araç çubuğu düğmesine tıklayın.
2. Zamanlama ayarlarını gerektiği gibi değiştirin ve ardından Tamam seçeneğine tıklayın.