Yerleştirme ayarları

Yerleştirme veri görevi için ayarları yapılandırabilirsiniz.

• Yerleştirme görevini açın ve araç çubuğunda Ayarlar'a tıklayın.

Ayarlar: <Task-Name> diyalog penceresi açılır. Mevcut ayarlar aşağıda açıklanmıştır.

Genel

• Veritabanı

  Hedefte kullanılacak veritabanı.

  Bilgi notuBu seçenek Qlik Cloud üzerine veri yerleştirirken kullanılamaz (Amazon S3 aracılığıyla).

• Görev şeması

  Veri yerleştirme görevi şemasının adını değiştirebilirsiniz. Varsayılan ad yerleştirme'dir.

  Bilgi notuBu seçenek Qlik Cloud üzerine veri yerleştirirken kullanılamaz (Amazon S3 aracılığıyla).

• Tüm tablo ve görünümler için ön ek

  Bu görevle oluşturulan tüm tablolar ve görünümler için bir önek ayarlayabilirsiniz.

  Bilgi notuBu seçenek Qlik Cloud üzerine veri yerleştirirken kullanılamaz (Amazon S3 aracılığıyla).
  Bilgi notuBir veritabanı şemasını birden fazla veri görevinde kullanmak istediğinizde benzersiz bir önek kullanmanız gerekir.

• Güncelleme yöntemi

  Yerleştirme görevi her zaman bir Tam Yükleme ile başlar. Tam Yükleme tamamlandıktan sonra yerleştirilen verileri aşağıdaki yöntemlerden birini kullanarak güncel tutabilirsiniz:

  Bilgi notuYerleştirme veri görevi hazırlama işlemi tamamlandıktan sonra güncelleme yöntemini değiştirmek mümkün değildir.

  • Değişiklik verisi yakalama (CDC)

    Yerleştirilen veriler CDC (Change Data Capture) teknolojisi kullanılarak güncel tutulur. CDC tüm veri kaynakları tarafından desteklenmeyebilir. CDC, sütunları yeniden adlandırma veya meta verilerde değişik yapma gibi DDL işlemlerini yakalamaz.

    Verileriniz CDC'yi desteklemeyen görünümler veya tablolar içeriyorsa iki veri işlem hattı oluşturulacaktır. CDC'yi destekleyen tüm tabloları içeren bir işlem hattı ve güncelleme yöntemi olarak Yeniden yükle ve karşılaştır seçeneğini kullanan diğer tüm tablolar ve görünümlerin bulunduğu başka bir işlem hattı.

  • Yeniden yükleme ve karşılaştırma

    Yerleştirilen tüm veriler kaynaktan yeniden yüklenir. Kaynağınız CDC'yi desteklemiyorsa bu yararlı olabilir, ancak desteklenen her veri kaynağı ile kullanılabilir.

    Yeniden yüklemeleri düzenli aralıklarla zamanlayabilirsiniz.

• Hazırlama alanında kullanılacak klasör

  Hazırlık alanı gerektiren veri platformları (örneğin Databricks ve Azure Synapse Analytics) için veri yerleştirirken kullanılacak klasörü seçebilirsiniz.

  • Varsayılan klasör

    Bu, <proje adı>/<veri görevi adı> varsayılan adıyla bir klasör oluşturur.

  • Kök klasör

    Verileri depolama alanının kök klasöründe depola.

    Bilgi notuBu seçenek yalnızca Qlik Cloud üzerine veri yerleştirirken kullanılabilir (Amazon S3 aracılığıyla).

  • Klasör

    Kullanılacak bir klasör adı belirtin.

• Değişiklik işleme aralığı

  Kaynaktan gelen değişiklikleri işleme arasındaki aralığı ayarlayabilirsiniz.

  Bilgi notuBu seçenek yalnızca Qlik Cloud üzerine veri yerleştirirken kullanılabilir (Amazon S3 aracılığıyla).

• Veri Hareketi ağ geçidi kullanıldığında proxy sunucusu

  Bilgi notuBu seçenek yalnızca hedeflere Data Movement gateway aracılığıyla erişirken kullanılabilir.

  Veri Hareketi ağ geçidi bulut veri deposuna ve depolama alanına bağlandığında bir proxy sunucusu kullanmayı seçebilirsiniz.

  Veri Hareketi ağ geçidini bir proxy sunucusu kullanacak şekilde yapılandırma hakkında daha fazla bilgi için bk. Qlik Cloud kiracısını ve proxy sunucusunu ayarlama.

  • Bulut veri deposuna bağlanmak için proxy kullanma

    Bilgi notuSnowflake, Google BigQuery ve Databricks ile kullanılabilir.

  • Depolama alanına bağlanmak için proxy kullan

    Bilgi notuAzure Synapse Analytics, Amazon Redshift ve Databricks ile kullanılabilir.

Veri yükleniyor

• Maksimum dosya boyutu (MB)

  Bir dosyanın kapatılmadan önce ulaşabileceği maksimum boyut. Küçük dosyalar daha hızlı yüklenir (ağa bağlı olarak) ve paralel yürütme seçeneğiyle birlikte kullanıldığında performansı iyileştirir. Ancak küçük dosyalarla veritabanını dağıtmak genellikle kötü bir uygulama olarak kabul edilir.

  Bilgi notuBu ayar, Qlik Cloud dışındaki tüm veri platformları için geçerlidir.

• Sıkıştırma kullan

  Bu öğe seçildiğinde CSV dosyaları Google BigQuery'ye yüklenmeden önce sıkıştırılacaktır (gzip kullanılarak).

  Bilgi notu

  • Bu ayar sadece Google BigQuery için geçerlidir.
  • Veri Hareketi ağ geçidi 2023.5.16 veya daha yeni bir sürümü gerektirir.

Meta veriler

LOB sütunları

• LOB sütunlarını dahil et ve sütun boyutunu şununla sınırla (KB):

  Görevdeki LOB sütunlarını dahil etmeyi seçebilir ve maksimum LOB boyutunu ayarlayabilirsiniz. Maksimum boyuttan büyük olan LOB'lar kesilir.

  Bilgi notuHedef olarak Azure Synapse Analytics kullanılırken maksimum LOB boyutu 7 MB'yi aşamaz.

Kontrol tabloları

Aşağıdaki kontrol tablolarından hedef platformda oluşturulmasını istediklerinizi seçin:

• Yerleştirme Durumu: Görev durumu, görev tarafından kullanılan bellek miktarı, henüz veri platformuna uygulanmamış değişiklik sayısı ve Veri Hareketi ağ geçidi öğesinin şu anda okuma yaptığı kaynak uç noktadaki konum dahil olmak üzere mevcut yerleştirme göreviyle ilgili ayrıntılar sağlar.
• Askıya Alınmış Tablolar: Askıya alınmış tablolar ve askıya alınma nedenlerinin bir listesini sağlar.
• Yerleştirme Geçmişi: Bir yerleştirme görevi sırasında işlenen kayıtların sayısı ve hacmi, bir CDC görevinin sonundaki gecikme ve daha fazlası dahil olmak üzere görev geçmişi hakkında bilgiler sağlar.

• DDL Geçmişi: Bir görev sırasında gerçekleşen tüm desteklenen DDL değişikliklerinin geçmişini içerir.

  Bilgi notu

  DDL Geçmiş tablosu sadece aşağıdaki hedef platformlarla desteklenmektedir:

  • Databricks

  • Microsoft Fabric

Her bir kontrol tablosunun ayrıntılı açıklaması için bk. Kontrol tabloları.

Tam yük

Performans ayarı

• Paralel olarak yüklenecek maksimum tablo sayısı: Hedefe tek seferde yüklenecek maksimum tablo sayısını girin. Varsayılan değer 5'tir.

• İşlem tutarlılığı zaman aşımı (saniye): Tam Yük işlemine başlamadan önce açık işlemleri kapatmak için beklenecek saniye sayısını girin. Varsayılan değer 600'dür (10 dakika). Tam yük, hala açık olan işlemler olsa bile zaman aşımı değerine ulaşıldıktan sonra başlayacaktır.

  Bilgi notuTam Yük başladığında açık olan ancak zaman aşımı değerine ulaşıldıktan sonra işlenen işlemleri çoğaltmak için hedef tabloları yeniden yüklemeniz gerekir.
• Tam yük sırasında bağlılık oranı: Birlikte aktarılabilecek maksimum olay sayısı. Varsayılan değer 10000'dir.

Tam yük tamamlandıktan sonra

Birincil anahtar veya benzersiz dizin oluşturun: Veri platformu üzerinde birincil anahtar ya da benzersiz dizin oluşturmayı tam yükleme tamamlanıncaya kadar ertelemek istiyorsanız bu seçeneği belirleyin.

İlk yük için

SaaS uygulama kaynaklarından veri taşırken ilk tam yüklemenin nasıl gerçekleştirileceğini ayarlayabilirsiniz:

Hata işleme

Veri hataları

Veri kesme hataları için: Bir veya daha fazla belirli kayıtta kesilme meydana geldiğinde ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

• Yoksay: Görev devam eder ve hata yoksayılır.
• Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Diğer veri hataları için: Bir veya daha fazla belirli kayıtta hata oluştuğunda ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

• Yoksay: Görev devam eder ve hata yoksayılır.
• Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Diğer veri hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Kesilmeyen veri hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Hızlandırma eylemi: Hata işleme yükseltildiğinde ne olması gerektiğini seçin. Kullanılabilir eylemlerin yukarıda açıklanan Diğer veri hataları için açılır listesinden seçilen eyleme bağlı olduğunu unutmayın.

• Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri için landed işlemi yapılmaz.

• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Tablo hataları

Tablo hatasıyla karşılaşıldığında: Açılır listeden aşağıdakilerden birini seçin:

• Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Tablo hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Tablo hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Hızlandırma eylemi: Tablo hataları için eskalasyon politikası Görevi durdur olarak ayarlanmıştır ve değiştirilemez.

Çevresel

• Maksimum yeniden deneme sayısı: Bu seçeneği seçin ve ardından kurtarılabilir bir çevresel hata oluştuğunda bir görevi yeniden denemek için maksimum deneme sayısını belirtin. Görev belirtilen sayıda tekrar denedikten sonra görev durdurulur ve manuel müdahale gerekir.

  Bir görevi asla yeniden denememek için onay kutusunun işaretini kaldırın veya "0" olarak belirtin.

  Bir görevi sonsuz sayıda yeniden denemek için "-1" belirtin

  • Yeniden deneme girişimleri arasındaki aralık (saniye): Sistemin bir görevi yeniden deneme denemeleri arasında bekleyeceği saniye sayısını seçmek veya yazmak için sayacı kullanın.

    Geçerli değerler 0-2.000 arasındadır.

• Uzun kesintiler için yeniden deneme aralığını artır: Uzun kesintilerde yeniden deneme aralığını artırmak için bu onay kutusunu seçin. Bu seçenek etkinleştirildiğinde, Maksimum yeniden deneme aralığına ulaşılana kadar (ve belirtilen maksimum aralığa göre yeniden denemeye devam eder) her bir yeniden deneme denemesi arasındaki aralığı iki katına çıkarır.
  • Maksimum yeniden deneme aralığı (saniye): Uzun kesintiler için yeniden deneme aralığını artır seçeneği etkinleştirildiğinde, bir görevi yeniden deneme denemeleri arasında beklenecek saniye sayısını seçmek veya yazmak için sayacı kullanın. Geçerli değerler 0-2.000 arasındadır.

İşleme ayarını değiştir

İşlem aktarım ayarı

• Devam eden işlemleri şu durumda diske aktar:

  İşlem verileri genellikle kaynak veya hedefe tamamen işlenene kadar bellekte tutulur. Ancak tahsis edilen bellekten daha büyük olan veya belirtilen zaman sınırı içinde işlenmeyen işlemler diske boşaltılır.

  • Tüm işlemler için toplam bellek boyutu (MB): Tüm işlemlerin diske boşaltılmadan önce bellekte kaplayabileceği maksimum boyut. Varsayılan değer 1024'tür.
  • İşlemlerin süresi (saniye) değerini aşıyor: Her bir işlemin diske boşaltılmadan önce bellekte kalabileceği maksimum süre. Süre, Qlik Talend Data Integration öğesinin işlemi yakalamaya başladığı andan itibaren hesaplanır. Varsayılan değer 60'tır.

Toplu ayarlama

Bu sekmedeki bazı ayarlar

Qlik Cloud dışındaki tüm hedefler için geçerli olan ayarlar:

• Toplu değişiklikleri aralıklarla uygula:

• En az: Toplu değişikliklerin her bir uygulaması arasında beklenecek minimum süre. Varsayılan değer 1'dir.

  En az değerinin artırılması, yığınların boyutunu artırırken değişikliklerin hedefe uygulanma sıklığını azaltır. Bu, büyük partileri işlemek için optimize edilmiş hedef veritabanlarına değişiklik uygularken performansı artırabilir.

• Less fazla: Toplu değişikliklerin her bir uygulaması arasında beklenecek maksimum süre (zaman aşımı bildirilmeden önce). Başka bir deyişle, kabul edilebilir maksimum gecikme süresi. Varsayılan değer 30'dur. Bu değer, En az değerine ulaşıldıktan sonra değişiklikleri uygulamadan önce beklenecek maksimum süreyi belirler.

• İşlem belleği (MB) değerini aştığında bir yığın uygulamaya zorla: Ön işleme için kullanılacak maksimum bellek miktarı. Varsayılan değer 500 MB'tır.

  Maksimum parti boyutu için bu değeri veri görevine ayırabileceğiniz en yüksek bellek miktarına ayarlayın. Bu, büyük partileri işlemek için optimize edilmiş hedef veritabanlarına değişiklik uygularken performansı artırabilir.

• Birden fazla tabloya aynı anda toplu değişiklikler uygula: Bu seçeneğin seçilmesi, birden fazla kaynak tablodan değişiklik uygularken performansı artırmalıdır.

  • Maksimum tablo sayısı: Toplu değişikliklerin eşzamanlı olarak uygulanacağı maksimum tablo sayısı. Varsayılan değer beştir.

  Bilgi notuBu seçenek, veri platformu olarak Google BigQuery kullandığınızda desteklenmez.

• Değişiklik işleme ifadesi başına uygulanan değişiklik sayısını şununla sınırla: Tek bir değişiklik işleme ifadesine uygulanan değişiklik sayısını şununla sınırlamak için bu seçeneği kullanın. Varsayılan değer 10,000'dir.

  Bilgi notuBu seçenek sadece veri platformu olarak Google BigQuery kullandığınızda desteklenir.

Sadece Qlik Cloud için geçerli olan ayarlar:

• İşlem başına minimum değişiklik sayısı: Her bir işleme dahil edilecek minimum değişiklik sayısı. Varsayılan değer 1000'dir.

  Bilgi notu

  Değişiklikler, değişiklik sayısı İşlem başına minimum değişiklik sayısı değerine eşit veya daha büyük olduğunda YA DA aşağıda açıklanan Uygulamadan önce toplu işlemler için maksimum süre (saniye) değerine erişildiğinde (hangisi önce olursa) hedefe uygulanır. Hedefe uygulanan değişikliklerin sıklığı bu iki parametre tarafından kontrol edildiğinden, kaynak kayıtlarda yapılan değişiklikler hedef kayıtlara hemen yansıtılmayabilir.

• Uygulamadan önce toplu işlemler için maksimum süre (saniye): Bir zaman aşımı bildirmeden önce işlemlerin toplu olarak toplanması için maksimum süre. Varsayılan değer 1'dir.

Aralık

• Her (dakikada) bir değişikleri oku

  Kaynaktan okuma değişiklikleri arasındaki aralığı dakika cinsinden ayarlayın. Geçerli aralık 1 ila 1440'tır.

  Bilgi notu

  Bu seçenek yalnızca şu durumlarda kullanılabilir:

  • Veri Hareketi ağ geçidi kullanma
  • SaaS uygulama kaynaklarından veri yerleştirirken
  • Görev, Değişiklik verisi yakalama (CDC) güncelleme yöntemiyle tanımlanır

Çeşitli ayarlar

• İfadeler önbellek boyutu (ifade sayısı): Daha sonra yürütülmek üzere sunucuda depolanacak maksimum hazır ifade sayısı (değişiklikleri hedefe uygularken). Varsayılan değer 50'dir. Maksimum değer 200'dür.

• Bir birincil anahtar sütununu güncellerken DELETE ve INSERT: Bu seçenek, kaynak veritabanında tam ek günlük kaydının açılmasını gerektirir.

Karakter yerine koyma

Hedef veritabanındaki kaynak karakterleri değiştirebilir ya da silebilirsiniz ve/veya seçilen bir karakter kümesi tarafından desteklenmeyen kaynak karakterleri değiştirebilir ya da silebilirsiniz.

Kaynak karakterleri değiştirme veya silme

Belirli kaynak karakterlerin yerine geçecekleri tanımlamak için Kaynak karakterleri değiştir veya sil tablosunu kullanın. Bu, örneğin bir karakterin Unicode gösteriminin kaynak ve hedef platformlarda farklı olduğu durumlarda yararlı olabilir. Örneğin, Linux'ta Shift_JIS karakter kümesindeki eksi karakteri U+2212 olarak gösterilir ancak Windows'da U+FF0D olarak gösterilir.

Seçili karakter seti tarafından desteklenmeyen kaynak karakterleri değiştirme veya silme

Seçilen karakter kümesi tarafından desteklenmeyen tüm karakterler için tek bir yedek karakter tanımlamak üzere Karakter kümesine göre desteklenmeyen kaynak karakterler tablosunu kullanın.

Diğer seçenekler

Bu seçenekler yalnızca belirli sürümler veya ortamlarla ilgili olduklarından kullanıcı arayüzünde gösterilmez. Sonuç olarak, Qlik Desteği veya ürün belgelerinde bunu yapmanız açıkça istenmedikçe bu seçenekleri belirlemeyin.

Bir seçeneği ayarlamak için seçeneği Özellik adı ekle alanına kopyalayıp Ekle'ye tıklayın. Ardından, aldığınız talimatlara göre değeri ayarlayın veya seçeneği etkinleştirin.

Veri Hareketi ağ geçidi olmadan çalışırken CDC görevlerini zamanlama

Veri Hareketi ağ geçidi, Qlik Talend Cloud Başlangıç Kılavuzu aboneliği ile desteklenmez ve diğer abonelik kademeleriyle isteğe bağlıdır. Veri Hareketi ağ geçidi olmadan çalışırken bir zamanlama aralığı ayarlayarak hedef verileri güncel tutarsınız. Zamanlama, hedef veri kümelerinin, kaynak veri kümelerindeki değişikliklerle ne sıklıkla güncelleneceğini belirler. Zamanlama, güncelleme sıklığını belirlerken veri kümesi türü, güncelleme yöntemini belirler. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) destekliyorsa yalnızca kaynak verilerindeki değişiklikler çoğaltılacak ve ilgili hedef tablolara uygulanacaktır. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) desteklemiyorsa değişiklikler tüm kaynak verilerinin ilgili hedef tablolara yüklenerek uygulanacaktır. Kaynak veri kümelerinden bazıları CDC'yi destekliyor, bazıları desteklemiyorsa iki ayrı alt görev oluşturulacaktır: Biri, CDC'yi desteklemeyen veri kümelerini yeniden yüklemek, diğeri CDC'yi desteklemeyen veri kümelerindeki değişiklikleri yakalamak içindir. Bu durumda veri tutarlılığını sağlamak üzere her iki alt görev için de aynı zamanlamanın ayarlanması kesinlikle önerilir.

Veri kaynağı türü ve abonelik kademesine göre minimum zamanlama aralıkları hakkında bilgi için bkz. İzin verilen minimum zamanlama aralıkları.

Zamanlamayı değiştirmek için:

1. Veri projenizi açın ve ardından aşağıdakilerden birini yapın:

   • Görevler görünümündeki veri görevinde öğesine tıklayın ve Zamanlama'yı seçin.
   • İşlem hattı görünümündeki veri görevinde öğesine tıklayın ve Zamanlama'yı seçin.
   • Yerleştirme görevini açın ve Zamanlama araç çubuğu düğmesine tıklayın.
2. Zamanlama ayarlarını gereken şekilde değiştirin ve ardından Tamam'a tıklayın.