Göl yerleştirme ayarları

Göl yerleştirme veri görevi için ayarları yapılandırabilirsiniz.

• Yerleştirme görevini açın ve araç çubuğunda Ayarlar'a tıklayın.

Ayarlar: <Task-Name> diyalog penceresi açılır. Mevcut ayarlar aşağıda açıklanmıştır.

Genel

Güncelleme yöntemi

Yerleştirme görevi her zaman bir Tam Yükleme ile başlar. Tam Yükleme tamamlandıktan sonra yerleştirilen verileri aşağıdaki yöntemlerden birini kullanarak güncel tutabilirsiniz:

Bilgi notuYerleştirme veri görevi hazırlama işlemi tamamlandıktan sonra güncelleme yöntemini değiştirmek mümkün değildir.

• Değişiklik verisi yakalama (CDC)

  Yerleştirilen veriler CDC (Change Data Capture) teknolojisi kullanılarak güncel tutulur. CDC tüm veri kaynakları tarafından desteklenmeyebilir. CDC sütunları yeniden adlandırma gibi DDL işlemlerini veya meta verilerdeki değişiklikleri yakalamaz.

  Verileriniz CDC'yi desteklemeyen görünümler veya tablolar içeriyorsa iki veri işlem hattı oluşturulacaktır. CDC'yi destekleyen tüm tabloları içeren bir işlem hattı ve güncelleme yöntemi olarak Yeniden yükle seçeneğini kullanan diğer tüm tablolar ve görünümlerin bulunduğu başka bir işlem hattı.

• Yeniden yükle

  Yerleştirilen tüm veriler kaynaktan yeniden yüklenir. Kaynağınız CDC'yi desteklemiyorsa bu yararlı olabilir, ancak desteklenen her veri kaynağı ile kullanılabilir.

  Yeniden yüklemeleri düzenli aralıklarla zamanlayabilirsiniz.

Kullanılacak klasör

Hazırlama alanına veri yerleştirirken kullanılacak klasörü seçin.

• Varsayılan klasör

  Bu, varsayılan adla bir klasör oluşturur: <project name>/<data task name>.

• Kök klasör

  Verileri depolama alanının kök klasöründe depola.

• Klasör

  Kullanılacak bir klasör adı belirtin.

Veri yükleniyor

• Maksimum dosya boyutu (MB)

  Bir dosyanın kapatılmadan önce ulaşabileceği maksimum boyut. Küçük dosyalar daha hızlı yüklenir (ağa bağlı olarak) ve paralel yürütme seçeneğiyle birlikte kullanıldığında performansı iyileştirir. Ancak küçük dosyalarla veritabanını dağıtmak genellikle kötü bir uygulama olarak kabul edilir.

  Bilgi notuBu ayar, Qlik Cloud dışındaki tüm veri platformları için geçerlidir.

• Sıkıştırma kullan

  Bu öğe seçildiğinde CSV dosyaları Google BigQuery'ye yüklenmeden önce sıkıştırılacaktır (gzip kullanılarak).

  Bilgi notu

  • Bu ayar sadece Google BigQuery için geçerlidir.
  • Veri Hareketi ağ geçidi 2023.5.16 veya daha yeni bir sürümü gerektirir.

Meta veriler

LOB sütunları

• LOB sütunlarını dahil et ve sütun boyutunu şununla sınırla (KB):

  Görevdeki LOB sütunlarını dahil etmeyi seçebilir ve maksimum LOB boyutunu ayarlayabilirsiniz. Maksimum boyuttan büyük olan LOB'lar kesilir.

  Bilgi notuHedef olarak Azure Synapse Analytics kullanılırken maksimum LOB boyutu 7 MB'yi aşamaz.

Kontrol tabloları

Aşağıdaki kontrol tablolarından hedef platformda oluşturulmasını istediklerinizi seçin:

• Yerleştirme Durumu: Görev durumu, görev tarafından kullanılan bellek miktarı, henüz veri platformuna uygulanmamış değişiklik sayısı ve Veri Hareketi ağ geçidi öğesinin şu anda okuma yaptığı kaynak uç noktadaki konum dahil olmak üzere mevcut yerleştirme göreviyle ilgili ayrıntılar sağlar.
• Askıya Alınan Tablolar: Askıya alınmış tabloların ve askıya alınma nedenlerinin bir listesini sağlar.
• Yerleştirme Geçmişi: Bir yerleştirme görevi sırasında işlenen kayıtların sayısı ve hacmi, bir CDC görevinin sonundaki gecikme ve daha fazlası dahil olmak üzere görev geçmişi hakkında bilgiler sağlar.

• DDL Geçmişi: Bir görev sırasında gerçekleşen tüm desteklenen DDL değişikliklerinin geçmişini içerir.

  DDL Geçmiş tablosu sadece aşağıdaki hedef platformlarla desteklenmektedir:

  • Databricks

  • Microsoft Fabric
  • Amazon Redshift
  • Eğer Veri Hareketi ağ geçidi kullanıyorsanız, aşağıdaki hedefler 2024.11.14 veya sonraki sürümü gerektirir:
    • Amazon S3
    • Google Cloud Storage
    • Snowflake
  • Kafka - Veri Hareketi ağ geçidi kullanıyorsanız, 2025.5.42 veya sonraki sürümü gereklidir.
  • Eğer Veri Hareketi ağ geçidi kullanıyorsanız, aşağıdaki hedefler 2025.11.1 veya sonraki sürümü gerektirir:
    • Google BigQuery
    • Google Cloud Alloy DB for PostgreSQL (PostgreSQL bağlayıcısı aracılığıyla)
    • Google Cloud SQL for PostgreSQL (PostgreSQL bağlayıcısı aracılığıyla)
    • Microsoft Azure Database for PostgreSQL (PostgreSQL bağlayıcısı aracılığıyla)
    • PostgreSQL

Her bir Kontrol Tablosunun ayrıntılı açıklaması için bkz. Kontrol tabloları.

Tam yük

Performans ayarı

• Paralel olarak yüklenecek maksimum tablo sayısı: Hedefe tek seferde yüklenecek maksimum tablo sayısını girin. Varsayılan değer 5'tir.

• İşlem tutarlılığı zaman aşımı (saniye): Tam Yük işlemine başlamadan önce açık işlemleri kapatmak için beklenecek saniye sayısını girin. Varsayılan değer 600'dür (10 dakika). Tam yük, hala açık olan işlemler olsa bile zaman aşımı değerine ulaşıldıktan sonra başlayacaktır.

  Bilgi notuTam Yük başladığında açık olan ancak zaman aşımı değerine ulaşıldıktan sonra işlenen işlemleri çoğaltmak için hedef tabloları yeniden yüklemeniz gerekir.
• Tam yük sırasında bağlılık oranı: Birlikte aktarılabilecek maksimum olay sayısı. Varsayılan değer 10000'dir.

Tam yük tamamlandıktan sonra

Birincil anahtar veya benzersiz dizin oluşturun: Veri platformu üzerinde birincil anahtar ya da benzersiz dizin oluşturmayı tam yükleme tamamlanıncaya kadar ertelemek istiyorsanız bu seçeneği belirleyin.

İlk yük için

Hata işleme

Veri hataları

Veri kesme hataları için: Bir veya daha fazla belirli kayıtta kesilme meydana geldiğinde ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

• Yoksay: Görev devam eder ve hata yoksayılır.
• Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Diğer veri hataları için: Bir veya daha fazla belirli kayıtta hata oluştuğunda ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

• Yoksay: Görev devam eder ve hata yoksayılır.
• Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Diğer veri hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Kesilmeyen veri hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Hızlandırma eylemi: Hata işleme yükseltildiğinde ne olması gerektiğini seçin. Kullanılabilir eylemlerin yukarıda açıklanan Diğer veri hataları için açılır listesinden seçilen eyleme bağlı olduğunu unutmayın.

• Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri için landed işlemi yapılmaz.

• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Tablo hataları

Tablo hatasıyla karşılaşıldığında: Açılır listeden aşağıdakilerden birini seçin:

• Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Tablo hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Tablo hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Eskalasyon eylemi: Tablo hataları için eskalasyon politikası Görevi durdur olarak ayarlanmıştır ve değiştirilemez.

Çevresel

• Maksimum yeniden deneme sayısı: Bu seçeneği seçin ve ardından kurtarılabilir bir çevresel hata oluştuğunda bir görevi yeniden denemek için maksimum deneme sayısını belirtin. Görev belirtilen sayıda tekrar denedikten sonra görev durdurulur ve manuel müdahale gerekir.

  Bir görevi asla yeniden denememek için onay kutusunun işaretini kaldırın veya "0" olarak belirtin.

  Bir görevi sonsuz sayıda yeniden denemek için "-1" belirtin

  • Yeniden deneme girişimleri arasındaki aralık (saniye): Sistemin bir görevi yeniden deneme denemeleri arasında bekleyeceği saniye sayısını seçmek veya yazmak için sayacı kullanın.

    Geçerli değerler 0-2.000 arasındadır.

• Uzun kesintiler için yeniden deneme aralığını artır: Uzun kesintilerde yeniden deneme aralığını artırmak için bu onay kutusunu seçin. Bu seçenek etkinleştirildiğinde, Maksimum yeniden deneme aralığına ulaşılana kadar (ve belirtilen maksimum aralığa göre yeniden denemeye devam eder) her bir yeniden deneme denemesi arasındaki aralığı iki katına çıkarır.
  • Maksimum yeniden deneme aralığı (saniye): Uzun kesintiler için yeniden deneme aralığını artır seçeneği etkinleştirildiğinde, bir görevi yeniden deneme denemeleri arasında beklenecek saniye sayısını seçmek veya yazmak için sayacı kullanın. Geçerli değerler 0-2.000 arasındadır.

İşleme ayarını değiştir

İşlem aktarım ayarı

Devam eden işlemleri şu durumda diske aktar:

İşlem verileri genellikle kaynak veya hedefe tamamen işlenene kadar bellekte tutulur. Ancak tahsis edilen bellekten daha büyük olan veya belirtilen zaman sınırı içinde işlenmeyen işlemler diske boşaltılır.

• Tüm işlemler için toplam bellek boyutu (MB): Tüm işlemlerin diske boşaltılmadan önce bellekte kaplayabileceği maksimum boyut. Varsayılan değer 1024'tür.
• İşlemlerin süresi (saniye) değerini aşıyor: Her bir işlemin diske boşaltılmadan önce bellekte kalabileceği maksimum süre. Süre, Qlik Talend Data Integration öğesinin işlemi yakalamaya başladığı andan itibaren hesaplanır. Varsayılan değer 60'tır.

Toplu ayarlama

Bu sekmedeki bazı ayarlar

Qlik Cloud dışındaki tüm hedefler için geçerli olan ayarlar:

• Toplu değişiklikleri aralıklarla uygula:

• En az: Toplu değişikliklerin her bir uygulaması arasında beklenecek minimum süre. Varsayılan değer 1'dir.

  En az değerinin artırılması, yığınların boyutunu artırırken değişikliklerin hedefe uygulanma sıklığını azaltır. Bu, büyük partileri işlemek için optimize edilmiş hedef veritabanlarına değişiklik uygularken performansı artırabilir.

• Less fazla: Toplu değişikliklerin her bir uygulaması arasında beklenecek maksimum süre (zaman aşımı bildirilmeden önce). Başka bir deyişle, kabul edilebilir maksimum gecikme süresi. Varsayılan değer 30'dur. Bu değer, En az değerine ulaşıldıktan sonra değişiklikleri uygulamadan önce beklenecek maksimum süreyi belirler.

• İşlem belleği (MB) değerini aştığında bir yığın uygulamaya zorla: Ön işleme için kullanılacak maksimum bellek miktarı. Varsayılan değer 500 MB'tır.

  Maksimum parti boyutu için bu değeri veri görevine ayırabileceğiniz en yüksek bellek miktarına ayarlayın. Bu, büyük partileri işlemek için optimize edilmiş hedef veritabanlarına değişiklik uygularken performansı artırabilir.

• Birden fazla tabloya aynı anda toplu değişiklikler uygula: Bu seçeneğin seçilmesi, birden fazla kaynak tablodan değişiklik uygularken performansı artırmalıdır.

  • Maksimum tablo sayısı: Toplu değişikliklerin eşzamanlı olarak uygulanacağı maksimum tablo sayısı. Varsayılan değer beştir.

  Bilgi notuBu seçenek, veri platformu olarak Google BigQuery kullandığınızda desteklenmez.

• Değişiklik işleme ifadesi başına uygulanan değişiklik sayısını şununla sınırla: Tek bir değişiklik işleme ifadesine uygulanan değişiklik sayısını şununla sınırlamak için bu seçeneği kullanın. Varsayılan değer 10,000'dir.

  Bilgi notuBu seçenek sadece veri platformu olarak Google BigQuery kullandığınızda desteklenir.

Sadece Qlik Cloud için geçerli olan ayarlar:

• İşlem başına minimum değişiklik sayısı: Her bir işleme dahil edilecek minimum değişiklik sayısı. Varsayılan değer 1000'dir.

  Bilgi notu

  Değişiklikler, değişiklik sayısı İşlem başına minimum değişiklik sayısı değerine eşit veya daha büyük olduğunda YA DA aşağıda açıklanan Uygulamadan önce toplu işlemler için maksimum süre (saniye) değerine erişildiğinde (hangisi önce olursa) hedefe uygulanır. Hedefe uygulanan değişikliklerin sıklığı bu iki parametre tarafından kontrol edildiğinden, kaynak kayıtlarda yapılan değişiklikler hedef kayıtlara hemen yansıtılmayabilir.

• Uygulamadan önce toplu işlemler için maksimum süre (saniye): Bir zaman aşımı bildirmeden önce işlemlerin toplu olarak toplanması için maksimum süre. Varsayılan değer 1'dir.

Aralık

• Her (dakikada) bir değişikleri oku

  Kaynaktan okuma değişiklikleri arasındaki aralığı dakika cinsinden ayarlayın. Geçerli aralık 1 ila 1440'tır.

  Bilgi notu

  Bu seçenek yalnızca şunu kullanan görevler için mevcuttur:

  • SaaS uygulaması Lite bağlayıcı.
  • Veri Hareketi ağ geçidi
  • Değişiklik verisi yakalama (CDC) güncelleme yöntemi.

Çeşitli ayarlar

• İfadeler önbellek boyutu (ifade sayısı): Daha sonra yürütülmek üzere sunucuda depolanacak maksimum hazır ifade sayısı (değişiklikleri hedefe uygularken). Varsayılan değer 50'dir. Maksimum değer 200'dür.

• Bir birincil anahtar sütununu güncellerken DELETE ve INSERT: Bu seçenek, kaynak veritabanında tam ek günlük kaydının açılmasını gerektirir.

Otomatik şema değişimi

Şemada aşağıdaki DDL değişiklik türlerinin nasıl işleneceğini seçin. Şema değişimi ayarlarını değiştirdiğinizde görevi tekrar hazırlamanız gerekir. Aşağıdaki tabloda desteklenen DDL değişiklikleri için hangi eylemlerin mevcut olduğu açıklanmaktadır.

Karakter yerine koyma

Hedef veritabanındaki kaynak karakterleri değiştirebilir ya da silebilirsiniz ve/veya seçilen bir karakter kümesi tarafından desteklenmeyen kaynak karakterleri değiştirebilir ya da silebilirsiniz.

Kaynak karakterleri değiştirme veya silme

Belirli kaynak karakterlerin yerine geçecekleri tanımlamak için Kaynak karakterleri değiştir veya sil tablosunu kullanın. Bu, örneğin bir karakterin Unicode gösteriminin kaynak ve hedef platformlarda farklı olduğu durumlarda yararlı olabilir. Örneğin, Linux'ta Shift_JIS karakter kümesindeki eksi karakteri U+2212 olarak gösterilir ancak Windows'da U+FF0D olarak gösterilir.

Seçili karakter seti tarafından desteklenmeyen kaynak karakterleri değiştirme veya silme

Seçilen karakter kümesi tarafından desteklenmeyen tüm karakterler için tek bir yedek karakter tanımlamak üzere Karakter kümesine göre desteklenmeyen kaynak karakterler tablosunu kullanın.

Diğer seçenekler

Bu seçenekler yalnızca belirli sürümler veya ortamlarla ilgili olduklarından kullanıcı arayüzünde gösterilmez. Sonuç olarak, Qlik Desteği veya ürün belgelerinde bunu yapmanız açıkça istenmedikçe bu seçenekleri belirlemeyin.

Bir seçeneği ayarlamak için seçeneği Özellik adı ekle alanına kopyalayıp Ekle'ye tıklayın. Ardından, aldığınız talimatlara göre değeri ayarlayın veya seçeneği etkinleştirin.

Veri kümesi segmentlerini paralel olarak yükleme

Tam yük sırasında veri kümesini paralel olarak yüklenecek segmentlere bölerek büyük veri kümelerinin yüklenmesini hızlandırabilirsiniz. Tablolar veri aralıklarına, tüm bölümlere, tüm alt bölümlere veya belirli bölümlere göre bölünebilir.

Daha fazla bilgi için bkz. Veri kümesi segmentlerini paralel olarak yerleştirme.

Görevleri zamanlama

Bazı durumlarda, veri kaynağından hedef platforma değişiklikleri yaymak için görevinizi zamanlamanız gerekebilir.

Daha fazla bilgi için bkz. Scheduling tasks.