Veri gölü yerleştirme ayarları

Varsayılan veri gölü yerleştirme ayarlarını ihtiyaçlarınıza göre değiştirebilirsiniz.

Genel

Güncelleme yöntemi

Verileri iki farklı modda yerleştirebilirsiniz. Veri gölü yerleştirme görevi hazırlandıktan sonra modu değiştirmek mümkün değildir.

• Değişiklik verisi yakalama (CDC): Veri gölü yerleştirme görevleri tam yükleme ile başlar (bu sırada seçilen tüm tablolar yerleştirilir). Veri gölü yerleştirme görevleri tam yükleme ile başlar (bu sırada seçilen tüm tablolar yerleştirilir).

  Bilgi notuDDL işlemlerinin CDC'si (Değişiklik Verisi Yakalama) desteklenmez.
• Yeniden yükle: Seçilen kaynak tablolardan hedef platforma verilerin tam yüklemesini gerçekleştirir ve gerekirse hedef tabloları oluşturur. Tam yük, görev başlatıldığında otomatik olarak gerçekleşir ancak manuel olarak da gerçekleştirilebilir veya gerektiğinde periyodik olarak gerçekleşecek şekilde zamanlanabilir.

Kullanılacak klasör

Dosyaların hangi demet klasörüne yazılmasını istediğinize göre aşağıdakilerden birini seçin:

• Varsayılan klasör: Varsayılan klasör biçimi <proje-adınız>/<görev-adınız> şeklindedir
• Kök klasör: Dosyalar doğrudan demetyazılacaktır.

• Klasör: Klasör adını girin. Klasör mevcut değilse veri gölü yerleştirme görevi sırasında oluşturulacaktır.

  Bilgi notu Klasör adı özel karakterler içeremez (örneğin, @, #, !, vb.).

Veri bölümlemeyi değiştir

Standart bir yerleştirme görevinde, değişiklikler belirli bir sıra olmaksızın hedefe indirilir. Değişiklik Verisi Bölümleme, birçok tablodan gelen Değişiklik Verilerinin tutarlı bir şekilde işlenmesini sağlar. Bölümlerin süresinin yanı sıra bölümleme temel zamanını da tanımlayabilir, böylece bölümlenmiş verilerin genel tutarlılığını sağlayabilirsiniz (yani kısmi işlemler, sipariş satırları olmadan sipariş başlıkları vb. olmaz).

Bölümler hakkındaki bilgiler hedef veritabanındaki attrep_cdc_partitions Kontrol Tablosuna kaydedilir. Bu bilgi, daha fazla işlenmesi gereken bölümlere ayrılmış verileri tanımlamak için kullanılabilir.

Bölümleme seçenekleri aşağıdaki gibidir:

• Her şu birimde bir böl - Her bölümün uzunluğunu (saat ve dakika olarak) belirtin.

  Bilgi notu

  Bir saati aşan bir bölüm uzunluğu belirtilmesi tavsiye edilir. Bir saatten daha kısa bir bölüm uzunluğu belirtmek gecikme süresini iyileştirebilse de, hedefte çok sayıda bölüm oluşturmak (hedef) performansı etkileyebilir (özellikle büyük hacimli değişikliklerin olduğu sistemlerde).

  Son bölümün oluşturulduğu zamandan ÖNCEKİ bir görevi devam ettirirseniz veri gölü yerleştirme görevi zaten kapatılmış olan bir bölüme yazacaktır.

• Bölme temel zamanı - Bölümler, kaynak veri tabanında UTC saat diliminde belirtilen 'Bölümleme taban zamanı'na göre hesaplanan 24 saatlik süre içinde oluşturulur. Örneğin, "Bölümleme taban zamanı" 02:00 olan 8 saatlik bir bölüm aralığı, şu bölümleri oluşturur: 02:00-10:00, 10:00-18:00, 18:00-02:00 (bu sırada olması gerekmez). Örneğin, bir görev 01:00'da başlarsa ilk bölümün zaman aralığı 18:00-02:00 olacaktır. Ayrıca, görev bir bölümün ortasında (örneğin 04:00'da) başlatılırsa (04:00'dan önce herhangi bir değişiklik yakalanmamış olmasına rağmen) Değişiklik Verileri 02:00-10:00 bölümüne eklenecektir.

Veri yükleniyor

Dosya öznitelikleri

Alan sınırlayıcı

Hedef dosyalardaki alanları (sütunları) ayırmak için kullanılacak sınırlayıcı. Varsayılan değer virgüldür.

Sınırlayıcı olarak virgül kullanan örnek:

"melih","erkek"

Sınırlayıcılar standart karakterler veya onaltılık (hex) değer olabilir. Onaltılık bir sınırlayıcıyı belirtmek için "0x" ön ekinin kullanılması gerektiğini unutmayın (ör. 0x01 = SOH). Alan sınırlayıcı, Kayıt sınırlayıcı ve Boş değer alanlarında sınırlayıcı, birleştirilmiş onaltılık değerlerden (ör. 0x0102 = SOHSTX) oluşabilirken, Alıntı karakteri ve Alıntı kaçış karakteri alanlarında yalnızca tek bir onaltılık değer olabilir.

Onaltılık sayı 0x00 desteklenmez (yani yalnızca 0x01-0xFF desteklenir).

Boş değer

Hedef dosyalarda null değeri belirtmek için kullanılacak dize.

Örnek (burada \n kayıt sınırlayıcısı ve @ boş değerdir):

Kayıt sınırlayıcı

Hedef dosyalardaki kayıtları (satırları) ayırmak için kullanılacak sınırlayıcı. Varsayılan değer satırsonudur (\n).

Örnek:

Tırnak karakteri

Bir metin sütununun başında ve sonunda kullanılacak karakter. Varsayılan değer çift tırnak karakteridir ("). Sütun sınırlayıcıları içeren bir sütun çift tırnak içine alındığında, sütun sınırlayıcı karakterleri sütun sınırlayıcıları olarak değil, gerçek veriler olarak yorumlanır.

Örnek (burada @ tırnak karakteridir):

Tırnak kaçış karakteri

Gerçek verilerdeki bir tırnak karakterinden kaçmak için kullanılan karakter. Varsayılan değer çift tırnak karakteridir (").

Örnek (burada " tırnak karakteri ve \ kaçış karakteridir):

Parquet sürümü

Hedef platformun desteklediği sürüme göre kullanılacak sürümü seçin. Parquet 1.0 sürümünün sadece MICRO zaman damgasını desteklerken Parquet 2.6 sürümünün hem MICRO hem NANO zaman damgası birimlerini desteklediğini unutmayın.

Parquet zaman damgası birimi

Parquet sürümü 2.6 olarak ayarlandığında MICRO veya NANO seçeneğini belirleyin. Parquet sürümü 1.0 olarak ayarlandığında sadece MICRO desteklenir.

Parquet maksimum LOB boyutu (KB)

Varsayılan maksimum LOB boyutu 64 KB olup bu alana girebileceğiniz maksimum değer 10.000 KB'tır. LOB sütunlarını yönetmek için daha fazla kaynak gerekir ve bu da performansı etkiler. Bu değeri sadece 64 KB'tan fazla LOB verilerini çoğaltıyorsanız ve tüm LOB verilerinin hedefe çoğaltılması gerekiyorsa artırın.

Maksimum dosya boyutu

Bir dosyanın kapatılmadan (ve isteğe bağlı olarak sıkıştırılmadan) önce ulaşabileceği maksimum boyut.

Bir dosyanın kapatılmadan önce ulaşabileceği maksimum boyut. Küçük dosyalar daha hızlı yüklenir (ağa bağlı olarak) ve paralel yürütme seçeneğiyle birlikte kullanıldığında performansı iyileştirir. Ancak küçük dosyalarla veritabanını dağıtmak genellikle kötü bir uygulama olarak kabul edilir.

Dosyaları kullanarak sıkıştır

Hedef dosyaları sıkıştırmak için sıkıştırma seçeneklerinden birini veya sıkıştırılmadan bırakmak için NONE (varsayılan) seçeneğini seçin. Kullanılabilir sıkıştırma seçeneklerinin seçilen dosya formatına göre belirlendiğini unutmayın.

Meta veri başlığı ekle

İsteğe bağlı olarak veri dosyalarına bir başlık satırı ekleyebilirsiniz. Başlık satırı kaynak sütun adlarını ve/veya ara (ör. Veri Hareketi ağ geçidi) veri türlerini içerebilir.

Hem Sütun adları ile hem de Veri türleri ile seçildiğinde üstbilgi satırına sahip bir hedef dosya örneği:

Position:DECIMAL(38,0),Color:VARCHAR(10)

1,"BLUE"

2,"BROWN"

3,"RED"

...

İşlemi değiştir

Bu bölümde Değişiklik İşleme'deki koşullu ayarlar açıklanmaktadır.

Değişiklikleri şu durumlarda uygulayın/saklayın

• Dosya boyutu: Dosyayı hedefe yüklemeden önce biriktirilecek maksimum Değişiklik Verisi boyutunu belirtin.
• Geçen süre: Geçen süre x'e ulaşır.

Meta veri dosyaları

Hedef klasörde meta veri dosyaları oluştur seçeneği belirlendiğinde, her veri dosyası için belirtilen hedef klasör altında .dfm uzantılı eşleşen bir meta veri dosyası oluşturulacaktır. Meta veri dosyaları, kaynak bağlayıcı türü, kaynak tablo adı, veri dosyasındaki kayıt sayısı gibi görev/veriler hakkında ek bilgiler sağlar.

Meta veri dosyasının tam açıklaması ve olası kullanımları için bk. Meta veri dosyası açıklaması

Meta veriler

LOB sütunları

• LOB sütunlarını dahil et ve sütun boyutunu şununla sınırla (KB):

  Görevdeki LOB sütunlarını dahil etmeyi seçebilir ve maksimum LOB boyutunu ayarlayabilirsiniz. Maksimum boyuttan büyük olan LOB'lar kesilir.

Kontrol tabloları

Aşağıdaki Kontrol tablolarından hedef platformda oluşturulmasını istediklerinizi seçin:

• Yerleştirme Durumu: Görev durumu, görev tarafından kullanılan bellek miktarı, henüz veri platformuna uygulanmamış değişiklik sayısı ve Veri Hareketi ağ geçidi öğesinin şu anda okuma yaptığı kaynak uç noktadaki konum dahil olmak üzere mevcut yerleştirme göreviyle ilgili ayrıntılar sağlar.
• Askıya Alınmış Tablolar: Askıya alınmış tablolar ve askıya alınma nedenlerinin bir listesini sağlar.
• Yerleştirme Geçmişi: Bir yerleştirme görevi sırasında işlenen kayıtların sayısı ve hacmi, bir CDC görevinin sonundaki gecikme ve daha fazlası dahil olmak üzere görev geçmişi hakkında bilgiler sağlar.
• Veri Bölümlerini Değiştir: Veri bölümlemeyi değiştir nedeniyle hedef veritabanında oluşturulan bölmelerin kayıtlarını sağlar. Bu bilgileri, daha fazla işlenmesi gereken bölümlenmiş verileri tanımlamak için kullanabilirsiniz.

Her bir Kontrol Tablosunun ayrıntılı açıklaması için bkz. Kontrol Tabloları.

Tam yük

Performans ayarı

• Paralel olarak yüklenecek maksimum tablo sayısı: Hedefe tek seferde yüklenecek maksimum tablo sayısını girin. Varsayılan değer 5'tir.

• İşlem tutarlılığı zaman aşımı (saniye): Tam Yük işlemine başlamadan önce açık işlemleri kapatmak için beklenecek saniye sayısını girin. Varsayılan değer 600'dür (10 dakika). Tam yük, hala açık olan işlemler olsa bile zaman aşımı değerine ulaşıldıktan sonra başlayacaktır.

  Bilgi notuTam Yük başladığında açık olan ancak zaman aşımı değerine ulaşıldıktan sonra işlenen işlemleri çoğaltmak için hedef tabloları yeniden yüklemeniz gerekir.
• Tam yük sırasında bağlılık oranı: Birlikte aktarılabilecek maksimum olay sayısı. Varsayılan değer 10000'dir.

Tam yük tamamlandıktan sonra

Birincil anahtar veya benzersiz dizin oluşturun: Veri platformu üzerinde birincil anahtar veya benzersiz dizin oluşturmayı tam yükleme tamamlanıncaya kadar ertelemek istiyorsanız bu seçeneği belirleyin.

Hata işleme

Veri hataları

Veri kesme hataları

Veri kesme hataları için: Bir veya daha fazla belirli kayıtta kesilme meydana geldiğinde ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

• Yoksay: Görev devam eder ve hata yoksayılır.
• Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Diğer veri hataları

Diğer veri hataları için: Bir veya daha fazla belirli kayıtta hata oluştuğunda ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

• Yoksay: Görev devam eder ve hata yoksayılır.
• Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Veri hatası işlemeyi yükseltme

Diğer veri hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Kesilmeyen veri hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Hızlandırma eylemi: Hata işleme yükseltildiğinde ne olması gerektiğini seçin. Kullanılabilir eylemlerin yukarıda açıklanan Diğer veri hataları için açılır listesinden seçilen eyleme bağlı olduğunu unutmayın.

• Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri için landed işlemi yapılmaz.

• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Tablo hataları

Tablo hatasıyla karşılaşıldığında: Açılır listeden aşağıdakilerden birini seçin:

• Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Tablo hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Tablo hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Hızlandırma eylemi: Tablo hataları için eskalasyon politikası Görevi durdur olarak ayarlanmıştır ve değiştirilemez.

Çevresel

• Maksimum yeniden deneme sayısı: Bu seçeneği seçin ve ardından kurtarılabilir bir çevresel hata oluştuğunda bir görevi yeniden denemek için maksimum deneme sayısını belirtin. Görev belirtilen sayıda tekrar denedikten sonra görev durdurulur ve manuel müdahale gerekir.

  Bir görevi asla yeniden denememek için onay kutusunun işaretini kaldırın veya "0" olarak belirtin.

  Bir görevi sonsuz sayıda yeniden denemek için "-1" belirtin

  • Yeniden deneme girişimleri arasındaki aralık (saniye): Sistemin bir görevi yeniden deneme denemeleri arasında bekleyeceği saniye sayısını seçmek veya yazmak için sayacı kullanın.

    Geçerli değerler 0-2.000 arasındadır.

• Uzun kesintiler için yeniden deneme aralığını artır: Uzun kesintilerde yeniden deneme aralığını artırmak için bu onay kutusunu seçin. Bu seçenek etkinleştirildiğinde, Maksimum yeniden deneme aralığına ulaşılana kadar (ve belirtilen maksimum aralığa göre yeniden denemeye devam eder) her bir yeniden deneme denemesi arasındaki aralığı iki katına çıkarır.
  • Maksimum yeniden deneme aralığı (saniye): Uzun kesintiler için yeniden deneme aralığını artır seçeneği etkinleştirildiğinde, bir görevi yeniden deneme denemeleri arasında beklenecek saniye sayısını seçmek veya yazmak için sayacı kullanın. Geçerli değerler 0-2.000 arasındadır.

İşleme ayarını değiştir

İşlem aktarım ayarı

• Devam eden işlemleri şu durumda diske aktar:

  İşlem verileri genellikle kaynak veya hedefe tamamen işlenene kadar bellekte tutulur. Ancak tahsis edilen bellekten daha büyük olan veya belirtilen zaman sınırı içinde işlenmeyen işlemler diske boşaltılır.

  • Tüm işlemler için toplam bellek boyutu (MB): Tüm işlemlerin diske boşaltılmadan önce bellekte kaplayabileceği maksimum boyut. Varsayılan değer 1024'tür.
  • İşlem süresi değerini aşıyor (saniye): Her bir işlemin diske boşaltılmadan önce bellekte kalabileceği maksimum süre. Süre, Veri Hareketi ağ geçidi öğesinin işlemi yakalamaya başladığı andan itibaren hesaplanır. Varsayılan değer 60'tır.

Çeşitli ayarlar

• İfadeler önbellek boyutu (ifade sayısı): Daha sonra yürütülmek üzere sunucuda depolanacak maksimum hazır ifade sayısı (değişiklikleri hedefe uygularken). Varsayılan değer 50'dir. Maksimum değer 200'dür.

• Bir birincil anahtar sütununu güncellerken DELETE ve INSERT: Bu seçenek, kaynak veritabanında tam ek günlük kaydının açılmasını gerektirir.

Toplu ayarlama

• İşlem başına minimum değişiklik sayısı: Her bir işleme dahil edilecek minimum değişiklik sayısı. Varsayılan değer 1000'dir.

  Bilgi notu

  Değişiklikler, değişiklik sayısı İşlem başına minimum değişiklik sayısı değerine eşit veya daha büyük olduğunda YA DA aşağıda açıklanan Uygulamadan önce toplu işlemler için maksimum süre (saniye) değerine erişildiğinde (hangisi önce olursa) hedefe uygulanır. Hedefe uygulanan değişikliklerin sıklığı bu iki parametre tarafından kontrol edildiğinden, kaynak kayıtlarda yapılan değişiklikler hedef kayıtlara hemen yansıtılmayabilir.

• Uygulamadan önce toplu işlemler için maksimum süre (saniye): Bir zaman aşımı bildirmeden önce işlemlerin toplu olarak toplanması için maksimum süre. Varsayılan değer 1'dir.

Karakter yerine koyma

Hedef veritabanındaki kaynak karakterleri değiştirebilir ya da silebilirsiniz ve/veya seçilen bir karakter kümesi tarafından desteklenmeyen kaynak karakterleri değiştirebilir ya da silebilirsiniz.

Kaynak karakterleri değiştirme veya silme

Belirli kaynak karakterlerin yerine geçecekleri tanımlamak için Kaynak karakterleri değiştir veya sil tablosunu kullanın. Bu, örneğin bir karakterin Unicode gösteriminin kaynak ve hedef platformlarda farklı olduğu durumlarda yararlı olabilir. Örneğin, Linux'ta Shift_JIS karakter kümesindeki eksi karakteri U+2212 olarak gösterilir ancak Windows'da U+FF0D olarak gösterilir.

Seçili karakter seti tarafından desteklenmeyen kaynak karakterleri değiştirme veya silme

Seçilen karakter kümesi tarafından desteklenmeyen tüm karakterler için tek bir yedek karakter tanımlamak üzere Karakter kümesine göre desteklenmeyen kaynak karakterler tablosunu kullanın.

Diğer seçenekler

Bu seçenekler yalnızca belirli sürümler veya ortamlarla ilgili olduklarından kullanıcı arayüzünde gösterilmez. Sonuç olarak, Qlik Desteği veya ürün belgelerinde bunu yapmanız açıkça istenmedikçe bu seçenekleri belirlemeyin.

Bir seçeneği ayarlamak için seçeneği Özellik adı ekle alanına kopyalayıp Ekle'ye tıklayın. Ardından, aldığınız talimatlara göre değeri ayarlayın veya seçeneği etkinleştirin.

SaaS uygulaması

• İlk yük için

SaaS uygulama kaynaklarından veri taşırken ilk tam yüklemenin nasıl gerçekleştirileceğini ayarlayabilirsiniz:

Bilgi notuBu ayarlar Veri Hareketi ağ geçidi sürüm 2022.11.74 veya daha sonraki sürümleri gerektirir.

Önbelleğe alınmış verileri kullanma	Bu seçenek, Tam veri taraması seçiliyken meta veri oluşturulduğunda okunan önbelleğe alınmış verileri kullanmanızı sağlar. Bu, veriler zaten kaynaktan okunduğu için API kullanımı ve kotalarla ilgili daha az ek yük oluşturur. İlk veri taramasından bu yana meydana gelen tüm değişiklikler Değişiklik verisi yakalama (CDC) ile alınabilir.
Kaynaktan veri yükleme	Bu seçenek veri kaynağından yeni bir yükleme gerçekleştirir. Bu seçenek şu durumlarda yararlıdır: Meta veri taraması yakın zamanda gerçekleştirilmemişse. Kaynak veri kümesi küçük ve sık sık değişiyorsa ayrıca değişikliklerin tam bir geçmişini tutmak istemiyorsanız.

• Her (dakikada) bir değişikleri oku

  Kaynaktan okuma değişiklikleri arasındaki aralığı dakika cinsinden ayarlayın. Geçerli aralık 1 ila 1440'tır.

  Bilgi notuBu seçenek yalnızca güncelleme yöntemi Veri yakalamayı değiştir (CDC) olan veri görevleri için kullanılabilir.