Bulut depolama alanı hedefleriyle ilgili ayarlar

Varsayılan veri gölü yerleştirme ayarlarını ihtiyaçlarınıza göre değiştirebilirsiniz.

Genel

Güncelleme yöntemi

Verileri iki farklı modda yerleştirebilirsiniz. Veri gölü yerleştirme görevi hazırlandıktan sonra modu değiştirmek mümkün değildir.

• Değişiklik verisi yakalama (CDC): Veri gölü yerleştirme görevleri tam yükleme ile başlar (bu sırada seçilen tüm tablolar yerleştirilir). Veri gölü yerleştirme görevleri tam yükleme ile başlar (bu sırada seçilen tüm tablolar yerleştirilir).

  Bilgi notuDDL işlemlerinin CDC'si (Değişiklik Verisi Yakalama) desteklenmez.

  Veri Hareketi ağ geçidi ile çalışırken değişiklikler, kaynaktan neredeyse gerçek zamanlı olarak yakalanır. Veri Hareketi ağ geçidi olmadan çalışırken değişiklikler, zamanlayıcı ayarlarına göre yakalanır. Daha fazla bilgi için bk. Veri Hareketi ağ geçidi olmadan çalışırken görevleri zamanlama.

• Yeniden yükle: Seçilen kaynak tablolardan hedef platforma verilerin tam yüklemesini gerçekleştirir ve gerekirse hedef tabloları oluşturur. Tam yük, görev başlatıldığında otomatik olarak gerçekleşir ancak manuel olarak da gerçekleştirilebilir veya gerektiğinde periyodik olarak gerçekleşecek şekilde zamanlanabilir.

Kullanılacak klasör

Dosyaların hangi demet klasörüne yazılmasını istediğinize göre aşağıdakilerden birini seçin:

• Varsayılan klasör: Varsayılan klasör biçimi <proje-adınız>/<görev-adınız> şeklindedir
• Kök klasör: Dosyalar doğrudan demetyazılacaktır.

• Klasör: Klasör adını girin. Klasör mevcut değilse veri gölü yerleştirme görevi sırasında oluşturulacaktır.

  Bilgi notu Klasör adı özel karakterler içeremez (örneğin, @, #, !, vb.).

Veri bölümlemeyi değiştir

Standart bir yerleştirme görevinde, değişiklikler belirli bir sıra olmaksızın hedefe indirilir. Değişiklik Verisi Bölümleme, birçok tablodan gelen Değişiklik Verilerinin tutarlı bir şekilde işlenmesini sağlar. Bölümlerin süresinin yanı sıra bölümleme temel zamanını da tanımlayabilir, böylece bölümlenmiş verilerin genel tutarlılığını sağlayabilirsiniz (yani kısmi işlemler, sipariş satırları olmadan sipariş başlıkları vb. olmaz).

Bölümler hakkındaki bilgiler hedef veritabanındaki attrep_cdc_partitions Kontrol Tablosuna kaydedilir. Bu bilgi, daha fazla işlenmesi gereken bölümlere ayrılmış verileri tanımlamak için kullanılabilir.

Bölümleme seçenekleri aşağıdaki gibidir:

• Her şu birimde bir böl - Her bölümün uzunluğunu (saat ve dakika olarak) belirtin.

  Bilgi notu

  Bir saati aşan bir bölüm uzunluğu belirtilmesi tavsiye edilir. Bir saatten daha kısa bir bölüm uzunluğu belirtmek gecikme süresini iyileştirebilse de, hedefte çok sayıda bölüm oluşturmak (hedef) performansı etkileyebilir (özellikle büyük hacimli değişikliklerin olduğu sistemlerde).

  Son bölümün oluşturulduğu zamandan ÖNCEKİ bir görevi devam ettirirseniz veri gölü yerleştirme görevi zaten kapatılmış olan bir bölüme yazacaktır.

• Bölme temel zamanı - Bölümler, kaynak veri tabanında UTC saat diliminde belirtilen 'Bölümleme taban zamanı'na göre hesaplanan 24 saatlik süre içinde oluşturulur. Örneğin, "Bölümleme taban zamanı" 02:00 olan 8 saatlik bir bölüm aralığı, şu bölümleri oluşturur: 02:00-10:00, 10:00-18:00, 18:00-02:00 (bu sırada olması gerekmez). Örneğin, bir görev 01:00'da başlarsa ilk bölümün zaman aralığı 18:00-02:00 olacaktır. Ayrıca, görev bir bölümün ortasında (örneğin 04:00'da) başlatılırsa (04:00'dan önce herhangi bir değişiklik yakalanmamış olmasına rağmen) Değişiklik Verileri 02:00-10:00 bölümüne eklenecektir.

Veri yükleniyor

Dosya öznitelikleri

Alan sınırlayıcı

Hedef dosyalardaki alanları (sütunları) ayırmak için kullanılacak sınırlayıcı. Varsayılan değer virgüldür.

Sınırlayıcı olarak virgül kullanan örnek:

"melih","erkek"

Sınırlayıcılar standart karakterler veya onaltılık (hex) değer olabilir. Onaltılık bir sınırlayıcıyı belirtmek için "0x" ön ekinin kullanılması gerektiğini unutmayın (ör. 0x01 = SOH). Alan sınırlayıcı, Kayıt sınırlayıcı ve Boş değer alanlarında sınırlayıcı, birleştirilmiş onaltılık değerlerden (ör. 0x0102 = SOHSTX) oluşabilirken, Alıntı karakteri ve Alıntı kaçış karakteri alanlarında yalnızca tek bir onaltılık değer olabilir.

Onaltılık sayı 0x00 desteklenmez (yani yalnızca 0x01-0xFF desteklenir).

Boş değer

Hedef dosyalarda null değeri belirtmek için kullanılacak dize.

Örnek (burada \n kayıt sınırlayıcısı ve @ boş değerdir):

Kayıt sınırlayıcı

Hedef dosyalardaki kayıtları (satırları) ayırmak için kullanılacak sınırlayıcı. Varsayılan değer satırsonudur (\n).

Örnek:

Tırnak karakteri

Bir metin sütununun başında ve sonunda kullanılacak karakter. Varsayılan değer çift tırnak karakteridir ("). Sütun sınırlayıcıları içeren bir sütun çift tırnak içine alındığında, sütun sınırlayıcı karakterleri sütun sınırlayıcıları olarak değil, gerçek veriler olarak yorumlanır.

Örnek (burada @ tırnak karakteridir):

Tırnak kaçış karakteri

Gerçek verilerdeki bir tırnak karakterinden kaçmak için kullanılan karakter. Varsayılan değer çift tırnak karakteridir (").

Örnek (burada " tırnak karakteri ve \ kaçış karakteridir):

Parquet sürümü

Hedef platformun desteklediği sürüme göre kullanılacak sürümü seçin. Parquet 1.0 sürümünün sadece MICRO zaman damgasını desteklerken Parquet 2.6 sürümünün hem MICRO hem NANO zaman damgası birimlerini desteklediğini unutmayın.

Parquet zaman damgası birimi

Parquet sürümü 2.6 olarak ayarlandığında MICRO veya NANO seçeneğini belirleyin. Parquet sürümü 1.0 olarak ayarlandığında sadece MICRO desteklenir.

Parquet maksimum LOB boyutu (KB)

Varsayılan maksimum LOB boyutu 64 KB olup bu alana girebileceğiniz maksimum değer 10.000 KB'tır. LOB sütunlarını yönetmek için daha fazla kaynak gerekir ve bu da performansı etkiler. Bu değeri sadece 64 KB'tan fazla LOB verilerini çoğaltıyorsanız ve tüm LOB verilerinin hedefe çoğaltılması gerekiyorsa artırın.

Maksimum dosya boyutu

Bir dosyanın kapatılmadan (ve isteğe bağlı olarak sıkıştırılmadan) önce ulaşabileceği maksimum boyut.

Bir dosyanın kapatılmadan önce ulaşabileceği maksimum boyut. Küçük dosyalar daha hızlı yüklenir (ağa bağlı olarak) ve paralel yürütme seçeneğiyle birlikte kullanıldığında performansı iyileştirir. Ancak küçük dosyalarla veritabanını dağıtmak genellikle kötü bir uygulama olarak kabul edilir.

Dosyaları kullanarak sıkıştır

Hedef dosyaları sıkıştırmak için sıkıştırma seçeneklerinden birini veya sıkıştırılmadan bırakmak için NONE (varsayılan) seçeneğini seçin. Kullanılabilir sıkıştırma seçeneklerinin seçilen dosya formatına göre belirlendiğini unutmayın.

Meta veri başlığı ekle

İsteğe bağlı olarak veri dosyalarına bir başlık satırı ekleyebilirsiniz. Başlık satırı kaynak sütun adlarını ve/veya ara (ör. Qlik Talend Data Integration) veri türlerini içerebilir.

Hem Sütun adları ile hem de Veri türleri ile seçildiğinde üstbilgi satırına sahip bir hedef dosya örneği:

Position:DECIMAL(38,0),Color:VARCHAR(10)

1,"BLUE"

2,"BROWN"

3,"RED"

...

İşlemi değiştir

Bu bölümde Değişiklik İşleme'deki koşullu ayarlar açıklanmaktadır.

Değişiklikleri şu durumlarda uygulayın/saklayın

• Dosya boyutu: Dosyayı hedefe yüklemeden önce biriktirilecek maksimum Değişiklik Verisi boyutunu belirtin.
• Geçen süre: Geçen süre x'e ulaşır.

Meta veri dosyaları

Hedef klasörde meta veri dosyaları oluştur seçeneği belirlendiğinde, her veri dosyası için belirtilen hedef klasör altında .dfm uzantılı eşleşen bir meta veri dosyası oluşturulacaktır. Meta veri dosyaları, kaynak bağlayıcı türü, kaynak tablo adı, veri dosyasındaki kayıt sayısı gibi görev/veriler hakkında ek bilgiler sağlar.

Meta veri dosyasının tam açıklaması ve olası kullanımları için bk. Meta veri dosyası açıklaması

Meta veriler

LOB sütunları

• LOB sütunlarını dahil et ve sütun boyutunu şununla sınırla (KB):

  Görevdeki LOB sütunlarını dahil etmeyi seçebilir ve maksimum LOB boyutunu ayarlayabilirsiniz. Maksimum boyuttan büyük olan LOB'lar kesilir.

Kontrol tabloları

Aşağıdaki Kontrol tablolarından hedef platformda oluşturulmasını istediklerinizi seçin:

• Çoğaltma Durumu: Görev durumu, görev tarafından kullanılan bellek miktarı, henüz veri platformuna uygulanmamış değişiklik sayısı ve verilerin şu anda okunduğu veri kaynağındaki konum dahil olmak üzere mevcut yerleştirme göreviyle ilgili ayrıntılar sağlar.
• Askıya Alınmış Tablolar: Askıya alınmış tablolar ve askıya alınma nedenlerinin bir listesini sağlar.
• Çoğaltma Geçmişi: Bir yerleştirme görevi sırasında işlenen kayıtların sayısı ve hacmi, bir CDC görevinin sonundaki gecikme ve daha fazlası dahil olmak üzere görev geçmişi hakkında bilgiler sağlar.
• Veri Bölümlerini Değiştir: Veri bölümlemeyi değiştir nedeniyle hedef veritabanında oluşturulan bölmelerin kayıtlarını sağlar. Bu bilgileri, daha fazla işlenmesi gereken bölümlenmiş verileri tanımlamak için kullanabilirsiniz.

Her bir Kontrol Tablosunun ayrıntılı açıklaması için bkz. Kontrol tabloları.

Tam yük

Performans ayarı

• Paralel olarak yüklenecek maksimum tablo sayısı: Hedefe tek seferde yüklenecek maksimum tablo sayısını girin. Varsayılan değer 5'tir.

• İşlem tutarlılığı zaman aşımı (saniye): Tam Yük işlemine başlamadan önce açık işlemleri kapatmak için beklenecek saniye sayısını girin. Varsayılan değer 600'dür (10 dakika). Tam yük, hala açık olan işlemler olsa bile zaman aşımı değerine ulaşıldıktan sonra başlayacaktır.

  Bilgi notuTam Yük başladığında açık olan ancak zaman aşımı değerine ulaşıldıktan sonra işlenen işlemleri çoğaltmak için hedef tabloları yeniden yüklemeniz gerekir.
• Tam yük sırasında bağlılık oranı: Birlikte aktarılabilecek maksimum olay sayısı. Varsayılan değer 10000'dir.

Tam yük tamamlandıktan sonra

Birincil anahtar veya benzersiz dizin oluşturun: Veri platformu üzerinde birincil anahtar ya da benzersiz dizin oluşturmayı tam yükleme tamamlanıncaya kadar ertelemek istiyorsanız bu seçeneği belirleyin.

İlk yük için

SaaS uygulama kaynaklarından veri taşırken ilk tam yüklemenin nasıl gerçekleştirileceğini ayarlayabilirsiniz:

Değişiklikleri saklama işlemi devam ediyor

Değişiklik Tablosu başlık sütunları, işlem türü (örneğin INSERT), işleme zamanı ve benzeri gibi Değişiklik İşleme işlemi hakkında bilgi sağlar. Bu bilgilere ihtiyacınız yoksa veri görevini, Değişiklik Tablolarını başlık sütunlarının bazıları veya hiçbiri olmadan oluşturacak ve böylece hedef veritabanındaki ayak izlerini azaltacak şekilde yapılandırabilirsiniz. Bunu yapmak için hariç tutmak istediğiniz başlık sütunlarının onay kutularının işaretini kaldırın.

Bir görev çalışırken ek sütunları kaldıramayacağınızı veya sütunları geri yükleyemeyeceğinizi unutmayın. İlk seçiminizi değiştirmek için önce görevi durdurmanız, ardından seçiminizi değiştirmeniz ve son olarak hedef tabloları yeniden yüklemeniz gerekir.

Başlık sütunlarının açıklaması için bkz. Değişim Tablolarını Kullanma.

Hata işleme

Veri hataları

Veri kesme hataları

Veri kesme hataları için: Bir veya daha fazla belirli kayıtta kesilme meydana geldiğinde ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

• Yoksay: Görev devam eder ve hata yoksayılır.
• Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Diğer veri hataları

Diğer veri hataları için: Bir veya daha fazla belirli kayıtta hata oluştuğunda ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

• Yoksay: Görev devam eder ve hata yoksayılır.
• Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Veri hatası işlemeyi yükseltme

Diğer veri hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Kesilmeyen veri hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Hızlandırma eylemi: Hata işleme yükseltildiğinde ne olması gerektiğini seçin. Kullanılabilir eylemlerin yukarıda açıklanan Diğer veri hataları için açılır listesinden seçilen eyleme bağlı olduğunu unutmayın.

• Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri için landed işlemi yapılmaz.

• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Tablo hataları

Tablo hatasıyla karşılaşıldığında: Açılır listeden aşağıdakilerden birini seçin:

• Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
• Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Tablo hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Tablo hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Hızlandırma eylemi: Tablo hataları için eskalasyon politikası Görevi durdur olarak ayarlanmıştır ve değiştirilemez.

Çevresel

• Maksimum yeniden deneme sayısı: Bu seçeneği seçin ve ardından kurtarılabilir bir çevresel hata oluştuğunda bir görevi yeniden denemek için maksimum deneme sayısını belirtin. Görev belirtilen sayıda tekrar denedikten sonra görev durdurulur ve manuel müdahale gerekir.

  Bir görevi asla yeniden denememek için onay kutusunun işaretini kaldırın veya "0" olarak belirtin.

  Bir görevi sonsuz sayıda yeniden denemek için "-1" belirtin

  • Yeniden deneme girişimleri arasındaki aralık (saniye): Sistemin bir görevi yeniden deneme denemeleri arasında bekleyeceği saniye sayısını seçmek veya yazmak için sayacı kullanın.

    Geçerli değerler 0-2.000 arasındadır.

• Uzun kesintiler için yeniden deneme aralığını artır: Uzun kesintilerde yeniden deneme aralığını artırmak için bu onay kutusunu seçin. Bu seçenek etkinleştirildiğinde, Maksimum yeniden deneme aralığına ulaşılana kadar (ve belirtilen maksimum aralığa göre yeniden denemeye devam eder) her bir yeniden deneme denemesi arasındaki aralığı iki katına çıkarır.
  • Maksimum yeniden deneme aralığı (saniye): Uzun kesintiler için yeniden deneme aralığını artır seçeneği etkinleştirildiğinde, bir görevi yeniden deneme denemeleri arasında beklenecek saniye sayısını seçmek veya yazmak için sayacı kullanın. Geçerli değerler 0-2.000 arasındadır.

İşleme ayarını değiştir

İşlem aktarım ayarı

• Devam eden işlemleri şu durumda diske aktar:

  İşlem verileri genellikle kaynak veya hedefe tamamen işlenene kadar bellekte tutulur. Ancak tahsis edilen bellekten daha büyük olan veya belirtilen zaman sınırı içinde işlenmeyen işlemler diske boşaltılır.

  • Tüm işlemler için toplam bellek boyutu (MB): Tüm işlemlerin diske boşaltılmadan önce bellekte kaplayabileceği maksimum boyut. Varsayılan değer 1024'tür.
  • İşlemlerin süresi (saniye) değerini aşıyor: Her bir işlemin diske boşaltılmadan önce bellekte kalabileceği maksimum süre. Süre, Qlik Talend Data Integration öğesinin işlemi yakalamaya başladığı andan itibaren hesaplanır. Varsayılan değer 60'tır.

Toplu ayarlama

• İşlem başına minimum değişiklik sayısı: Her bir işleme dahil edilecek minimum değişiklik sayısı. Varsayılan değer 1000'dir.

  Bilgi notu

  Değişiklikler, değişiklik sayısı İşlem başına minimum değişiklik sayısı değerine eşit veya daha büyük olduğunda YA DA aşağıda açıklanan Uygulamadan önce toplu işlemler için maksimum süre (saniye) değerine erişildiğinde (hangisi önce olursa) hedefe uygulanır. Hedefe uygulanan değişikliklerin sıklığı bu iki parametre tarafından kontrol edildiğinden, kaynak kayıtlarda yapılan değişiklikler hedef kayıtlara hemen yansıtılmayabilir.

• Uygulamadan önce toplu işlemler için maksimum süre (saniye): Bir zaman aşımı bildirmeden önce işlemlerin toplu olarak toplanması için maksimum süre. Varsayılan değer 1'dir.

Aralık

Her (dakikada) bir değişikleri oku

Kaynaktan okuma değişiklikleri arasındaki aralığı dakika cinsinden ayarlayın. Geçerli aralık 1 ila 1440'tır.

Çeşitli ayarlar

• İfadeler önbellek boyutu (ifade sayısı): Daha sonra yürütülmek üzere sunucuda depolanacak maksimum hazır ifade sayısı (değişiklikleri hedefe uygularken). Varsayılan değer 50'dir. Maksimum değer 200'dür.

• Bir birincil anahtar sütununu güncellerken DELETE ve INSERT: Bu seçenek, kaynak veritabanında tam ek günlük kaydının açılmasını gerektirir.

Şema değişimi

Karakter yerine koyma

Hedef veritabanındaki kaynak karakterleri değiştirebilir ya da silebilirsiniz ve/veya seçilen bir karakter kümesi tarafından desteklenmeyen kaynak karakterleri değiştirebilir ya da silebilirsiniz.

Kaynak karakterleri değiştirme veya silme

Belirli kaynak karakterlerin yerine geçecekleri tanımlamak için Kaynak karakterleri değiştir veya sil tablosunu kullanın. Bu, örneğin bir karakterin Unicode gösteriminin kaynak ve hedef platformlarda farklı olduğu durumlarda yararlı olabilir. Örneğin, Linux'ta Shift_JIS karakter kümesindeki eksi karakteri U+2212 olarak gösterilir ancak Windows'da U+FF0D olarak gösterilir.

Seçili karakter seti tarafından desteklenmeyen kaynak karakterleri değiştirme veya silme

Seçilen karakter kümesi tarafından desteklenmeyen tüm karakterler için tek bir yedek karakter tanımlamak üzere Karakter kümesine göre desteklenmeyen kaynak karakterler tablosunu kullanın.

Diğer seçenekler

Bu seçenekler yalnızca belirli sürümler veya ortamlarla ilgili olduklarından kullanıcı arayüzünde gösterilmez. Sonuç olarak, Qlik Desteği veya ürün belgelerinde bunu yapmanız açıkça istenmedikçe bu seçenekleri belirlemeyin.

Bir seçeneği ayarlamak için seçeneği Özellik adı ekle alanına kopyalayıp Ekle'ye tıklayın. Ardından, aldığınız talimatlara göre değeri ayarlayın veya seçeneği etkinleştirin.

Veri Hareketi ağ geçidi olmadan çalışırken görevleri zamanlama

Veri Hareketi ağ geçidi, Qlik Talend Cloud Başlangıç Kılavuzu aboneliği ile desteklenmez ve diğer abonelik kademeleriyle isteğe bağlıdır. Veri Hareketi ağ geçidi olmadan çalışırken neredeyse gerçek zamanlı CDC (Değişiklik verisi yakalama) desteklenmez. Bir zamanlama aralığı ayarlayarak hedef verileri güncel tutarsınız. Zamanlama, hedef veri kümelerinin, kaynak veri kümelerindeki değişikliklerle ne sıklıkla güncelleneceğini belirler. Zamanlama, güncelleme sıklığını belirlerken veri kümesi türü, güncelleme yöntemini belirler. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) destekliyorsa yalnızca kaynak verilerindeki değişiklikler çoğaltılacak ve ilgili hedef tablolara uygulanacaktır. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) desteklemiyorsa değişiklikler tüm kaynak verilerinin ilgili hedef tablolara yüklenerek uygulanacaktır. Kaynak veri kümelerinden bazıları CDC'yi destekliyor, bazıları desteklemiyorsa iki ayrı alt görev oluşturulacaktır ( Değişiklik verisi yakalama (CDC) güncelleme yönteminin seçildiği varsayılır): Biri, CDC'yi desteklemeyen veri kümelerini yeniden yüklemek, diğeri CDC'yi desteklemeyen veri kümelerindeki değişiklikleri yakalamak içindir. Bu durumda veri tutarlılığını sağlamak üzere her iki alt görev için de aynı zamanlamanın ayarlanması kesinlikle önerilir.

Zamanlamayı değiştirmek için:

1. Veri projenizi açın ve ardından aşağıdakilerden birini yapın:

   • Görevler görünümündeki bir veri görevinde öğesine tıklayın ve Zamanlama'yı seçin.
   • İşlem hattı görünümündeki bir veri görevinde öğesine tıklayın ve Zamanlama'yı seçin.
   • Çoğaltma görevini açın ve Zamanlama araç çubuğu düğmesine tıklayın.
2. Zamanlama ayarlarını gereken şekilde değiştirin ve ardından Tamam'a tıklayın.