Bulut depolama alanı hedefleriyle ilgili ayarlar
Varsayılan veri gölü yerleştirme ayarlarını ihtiyaçlarınıza göre değiştirebilirsiniz.
Genel
Güncelleme yöntemi
Verileri iki farklı modda yerleştirebilirsiniz. Veri gölü yerleştirme görevi hazırlandıktan sonra modu değiştirmek mümkün değildir.
-
Değişiklik Tablolarını kullanarak değişiklik verisi yakalama (CDC): Veri gölü yerleştirme görevleri tam yükleme ile başlar (bu sırada seçilen tüm tablolar hedefe yüklenir). Hedef veriler daha sonra CDC (Değişiklik Verisi Yakalama) teknolojisi kullanılarak güncel tutulur.
Bilgi notuDDL işlemlerinin CDC'si (Değişiklik Verisi Yakalama) desteklenmez.Veri Hareketi ağ geçidi ile çalışırken değişiklikler, kaynaktan neredeyse gerçek zamanlı olarak yakalanır. Veri Hareketi ağ geçidi olmadan çalışırken değişiklikler, zamanlayıcı ayarlarına göre yakalanır. Daha fazla bilgi için bk. Bulut depolama alanı hedefleriyle ilgili ayarlar.
-
Yeniden yükle: Seçilen kaynak tablolardan hedef platforma verilerin tam yüklemesini gerçekleştirir ve gerekirse hedef tabloları oluşturur. Tam yük, görev başlatıldığında otomatik olarak gerçekleşir ancak manuel olarak da gerçekleştirilebilir veya gerektiğinde periyodik olarak gerçekleşecek şekilde zamanlanabilir.
Kullanılacak klasör
Dosyaların hangi demet klasörüne yazılmasını istediğinize göre aşağıdakilerden birini seçin:
- Varsayılan klasör: Varsayılan klasör biçimi <proje-adınız>/<görev-adınız> şeklindedir
- Kök klasör: Dosyalar doğrudan demetyazılacaktır.
-
Klasör: Klasör adını girin. Klasör mevcut değilse veri gölü yerleştirme görevi sırasında oluşturulacaktır.
Bilgi notu Klasör adı özel karakterler içeremez (örneğin, @, #, !, vb.).
Veri bölümlemeyi değiştir
Standart bir yerleştirme görevinde, değişiklikler belirli bir sıra olmaksızın hedefe indirilir. Değişiklik Verisi Bölümleme, birçok tablodan gelen Değişiklik Verilerinin tutarlı bir şekilde işlenmesini sağlar. Bölümlerin süresinin yanı sıra bölümleme temel zamanını da tanımlayabilir, böylece bölümlenmiş verilerin genel tutarlılığını sağlayabilirsiniz (yani kısmi işlemler, sipariş satırları olmadan sipariş başlıkları vb. olmaz).
Bölümler hakkındaki bilgiler hedef veritabanındaki attrep_cdc_partitions Kontrol Tablosuna kaydedilir. Bu bilgi, daha fazla işlenmesi gereken bölümlere ayrılmış verileri tanımlamak için kullanılabilir.
Bölümleme seçenekleri aşağıdaki gibidir:
-
Her şu birimde bir böl - Her bölümün uzunluğunu (saat ve dakika olarak) belirtin.
Bilgi notuBir saati aşan bir bölüm uzunluğu belirtilmesi tavsiye edilir. Bir saatten daha kısa bir bölüm uzunluğu belirtmek gecikme süresini iyileştirebilse de, hedefte çok sayıda bölüm oluşturmak (hedef) performansı etkileyebilir (özellikle büyük hacimli değişikliklerin olduğu sistemlerde).
Son bölümün oluşturulduğu zamandan ÖNCEKİ bir görevi devam ettirirseniz veri gölü yerleştirme görevi zaten kapatılmış olan bir bölüme yazacaktır.
- Bölme temel zamanı - Bölümler, kaynak veri tabanında UTC saat diliminde belirtilen 'Bölümleme taban zamanı'na göre hesaplanan 24 saatlik süre içinde oluşturulur. Örneğin, "Bölümleme taban zamanı" 02:00 olan 8 saatlik bir bölüm aralığı, şu bölümleri oluşturur: 02:00-10:00, 10:00-18:00, 18:00-02:00 (bu sırada olması gerekmez). Örneğin, bir görev 01:00'da başlarsa ilk bölümün zaman aralığı 18:00-02:00 olacaktır. Ayrıca, görev bir bölümün ortasında (örneğin 04:00'da) başlatılırsa (04:00'dan önce herhangi bir değişiklik yakalanmamış olmasına rağmen) Değişiklik Verileri 02:00-10:00 bölümüne eklenecektir.
Veri yükleniyor
Dosya öznitelikleri
Biçim
Hedef dosyaları CSV veya JSON ya da Parquet formatında oluşturmayı seçebilirsiniz.
Bir JSON dosyasında, her kayıt aşağıdaki örnekte olduğu gibi tek bir satırla temsil edilir:
{ "book_id": 123, "title": "Alice Harikalar Diyarında", "price": 6.99, "is_hardcover": false }
{ "book_id": 456, "title": "Ayı Winnie", "price": 6.49, "is_hardcover": true }
{ "book_id": 789, "title": "Şapkalı Kedi", "price": 7.23, "is_hardcover": true }
Ayrıca bk. İçerik türü ve içerik kodlama özellikleri
- JSON veya Parquet biçimini seçerseniz şu alanlar yalnızca CSV biçimiyle ilgili olduğundan gizlenecektir: Alan sınırlayıcı, Kayıt sınırlayıcı, Null değeri, Tırnak karakteri, Tırnak kaçış karakteri ve Meta veri başlığı ekle.
- Şu alanlar yalnızca Parquet biçimiyle ilgilidir: Parquet sürümü, Parquet zaman damgası birimi ve Parquet maksimum LOB boyutu (KB).
Parquet biçimi kullanılırken veri türü eşlemeleri ve sınırlamalar hakkında bilgi için bkz. Mapping from Qlik Cloud data types to Parquet .
Alan sınırlayıcı
Hedef dosyalardaki alanları (sütunları) ayırmak için kullanılacak sınırlayıcı. Varsayılan değer virgüldür.
Sınırlayıcı olarak virgül kullanan örnek:
"melih","erkek"
Sınırlayıcılar standart karakterler veya onaltılık (hex) değer olabilir. Onaltılık bir sınırlayıcıyı belirtmek için "0x" ön ekinin kullanılması gerektiğini unutmayın (ör. 0x01 = SOH). Alan sınırlayıcı, Kayıt sınırlayıcı ve Boş değer alanlarında sınırlayıcı, birleştirilmiş onaltılık değerlerden (ör. 0x0102 = SOHSTX) oluşabilirken, Alıntı karakteri ve Alıntı kaçış karakteri alanlarında yalnızca tek bir onaltılık değer olabilir.
Onaltılık sayı 0x00 desteklenmez (yani yalnızca 0x01-0xFF desteklenir).
Boş değer
Hedef dosyalarda null değeri belirtmek için kullanılacak dize.
Örnek (burada \n kayıt sınırlayıcısı ve @ boş değerdir):
Kayıt sınırlayıcı
Hedef dosyalardaki kayıtları (satırları) ayırmak için kullanılacak sınırlayıcı. Varsayılan değer satırsonudur (\n).
Örnek:
Tırnak karakteri
Bir metin sütununun başında ve sonunda kullanılacak karakter. Varsayılan değer çift tırnak karakteridir ("). Sütun sınırlayıcıları içeren bir sütun çift tırnak içine alındığında, sütun sınırlayıcı karakterleri sütun sınırlayıcıları olarak değil, gerçek veriler olarak yorumlanır.
Örnek (burada @ tırnak karakteridir):
Tırnak kaçış karakteri
Gerçek verilerdeki bir tırnak karakterinden kaçmak için kullanılan karakter. Varsayılan değer çift tırnak karakteridir (").
Örnek (burada " tırnak karakteri ve \ kaçış karakteridir):
Parquet sürümü
Hedef platformun desteklediği sürüme göre kullanılacak sürümü seçin. Parquet 1.0 sürümünün sadece MICRO zaman damgasını desteklerken Parquet 2.6 sürümünün hem MICRO hem NANO zaman damgası birimlerini desteklediğini unutmayın.
Parquet zaman damgası birimi
Parquet sürümü 2.6 olarak ayarlandığında MICRO veya NANO seçeneğini belirleyin. Parquet sürümü 1.0 olarak ayarlandığında sadece MICRO desteklenir.
Parquet maksimum LOB boyutu (KB)
Varsayılan maksimum LOB boyutu 64 KB olup bu alana girebileceğiniz maksimum değer 10.000 KB'tır. LOB sütunlarını yönetmek için daha fazla kaynak gerekir ve bu da performansı etkiler. Bu değeri sadece 64 KB'tan fazla LOB verilerini çoğaltıyorsanız ve tüm LOB verilerinin hedefe çoğaltılması gerekiyorsa artırın.
Maksimum dosya boyutu
Bir dosyanın kapatılmadan (ve isteğe bağlı olarak sıkıştırılmadan) önce ulaşabileceği maksimum boyut.
Bir dosyanın kapatılmadan önce ulaşabileceği maksimum boyut. Küçük dosyalar daha hızlı yüklenir (ağa bağlı olarak) ve paralel yürütme seçeneğiyle birlikte kullanıldığında performansı iyileştirir. Ancak küçük dosyalarla veritabanını dağıtmak genellikle kötü bir uygulama olarak kabul edilir.
Dosyaları kullanarak sıkıştır
Hedef dosyaları sıkıştırmak için sıkıştırma seçeneklerinden birini veya sıkıştırılmadan bırakmak için NONE (varsayılan) seçeneğini seçin. Kullanılabilir sıkıştırma seçeneklerinin seçilen dosya formatına göre belirlendiğini unutmayın.
Meta veri başlığı ekle
İsteğe bağlı olarak veri dosyalarına bir başlık satırı ekleyebilirsiniz. Başlık satırı kaynak sütun adlarını ve/veya ara (ör. Qlik Talend Data Integration) veri türlerini içerebilir.
Hem Sütun adları ile hem de Veri türleri ile seçildiğinde üstbilgi satırına sahip bir hedef dosya örneği:
Position:DECIMAL(38,0),Color:VARCHAR(10)
1,"BLUE"
2,"BROWN"
3,"RED"
...
İşlemi değiştir
Bu bölümde Değişiklik İşleme'deki koşullu ayarlar açıklanmaktadır.
Değişiklikleri şu durumlarda uygulayın/saklayın
- Dosya boyutu: Dosyayı hedefe yüklemeden önce biriktirilecek maksimum Değişiklik Verisi boyutunu belirtin.
- Geçen süre: Geçen süre x'e ulaşır.
Meta veri dosyaları
Hedef klasörde meta veri dosyaları oluştur seçeneği belirlendiğinde, her veri dosyası için belirtilen hedef klasör altında .dfm uzantılı eşleşen bir meta veri dosyası oluşturulacaktır. Meta veri dosyaları, kaynak bağlayıcı türü, kaynak tablo adı, veri dosyasındaki kayıt sayısı gibi görev/veriler hakkında ek bilgiler sağlar.
Meta veri dosyasının tam açıklaması ve olası kullanımları için bk. Meta veri dosyası açıklaması
Meta veriler
LOB sütunları
LOB sütunlarını dahil et ve sütun boyutunu şununla sınırla (KB)
Görevdeki LOB sütunlarını dahil etmeyi seçebilir ve maksimum LOB boyutunu ayarlayabilirsiniz. Maksimum boyuttan büyük olan LOB'lar kesilir.
JSON sütun eşlemesi
Uyumlu kaynak JSON sütunlarını hedefteki JSON sütunlarıyla eşle
-
Veri kaynağınıza erişmek için Veri Hareketi ağ geçidi kullanıyorsanız, 2024.11.70 veya daha güncel bir sürüm gereklidir.
-
Yalnızca SaaS uygulama Önizleme bağlayıcıları ile desteklenir.
Bu seçenek belirlendiğinde, kaynaktaki JSON sütunları otomatik olarak hedefteki JSON sütunlarına eşlenecektir.
Bu seçeneğin durumu ve görünürlüğü aşağıdaki faktörlere göre belirlenir:
-
Yeni görevler: Bu seçenek, hem kaynak hem de hedef JSON veri türünü destekliyorsa varsayılan olarak etkinleştirilecektir.
-
Mevcut görevler: Bu seçenek, hem kaynak hem de hedef JSON veri türünü desteklese bile varsayılan olarak devre dışı bırakılacaktır. Bu, hedef verilerin STRING biçiminde olmasını bekleyen (eski davranış olan) dönüşümler gibi aşağı akış süreçleriyle geriye dönük uyumluluğu korumak içindir. Seçeneği devre dışı bırakabilir veya JSON formatıyla uyumlu olacak şekilde aşağı akış süreçlerini düzenleyebilir ve ardından bu seçeneği etkinleştirebilirsiniz.
-
Yeni ve mevcut görevler: Kaynak yalnızca JSON veri türünü destekliyorsa, bu seçenek görünmez olacaktır. Daha sonraki bir aşamada hedefe JSON desteği eklenirse, seçenek görünür hale gelecek ancak devre dışı kalacaktır. Bu, hedef verilerin DİZE biçiminde olmasını bekleyen aşağı akış süreçleri - dönüşümler gibi - ile geriye dönük uyumluluğu korumak içindir (bu, eski davranıştır).
Kontrol tabloları
Aşağıdaki Kontrol tablolarından hedef platformda oluşturulmasını istediklerinizi seçin:
- Çoğaltma Durumu: Görev durumu, görev tarafından kullanılan bellek miktarı, henüz veri platformuna uygulanmamış değişiklik sayısı ve verilerin şu anda okunduğu veri kaynağındaki konum dahil olmak üzere mevcut yerleştirme göreviyle ilgili ayrıntılar sağlar.
- Askıya Alınmış Tablolar: Askıya alınmış tablolar ve askıya alınma nedenlerinin bir listesini sağlar.
- Çoğaltma Geçmişi: Bir yerleştirme görevi sırasında işlenen kayıtların sayısı ve hacmi, bir CDC görevinin sonundaki gecikme ve daha fazlası dahil olmak üzere görev geçmişi hakkında bilgiler sağlar.
- Veri Bölümlerini Değiştir: Veri bölümlemeyi değiştir nedeniyle hedef veritabanında oluşturulan bölmelerin kayıtlarını sağlar. Bu bilgileri, daha fazla işlenmesi gereken bölümlenmiş verileri tanımlamak için kullanabilirsiniz.
Her bir Kontrol Tablosunun ayrıntılı açıklaması için bkz. Kontrol tabloları.
Tam yük
düğmesiyle gösterilir.Performans ayarı
- Paralel olarak yüklenecek maksimum tablo sayısı: Hedefe tek seferde yüklenecek maksimum tablo sayısını girin. Varsayılan değer 5'tir.
-
İşlem tutarlılığı zaman aşımı (saniye): Tam Yük işlemine başlamadan önce açık işlemleri kapatmak için beklenecek saniye sayısını girin. Varsayılan değer 600'dür (10 dakika). Tam yük, hala açık olan işlemler olsa bile zaman aşımı değerine ulaşıldıktan sonra başlayacaktır.
Bilgi notuTam Yük başladığında açık olan ancak zaman aşımı değerine ulaşıldıktan sonra işlenen işlemleri çoğaltmak için hedef tabloları yeniden yüklemeniz gerekir. - Tam yük sırasında bağlılık oranı: Birlikte aktarılabilecek maksimum olay sayısı. Varsayılan değer 10000'dir.
Tam yük tamamlandıktan sonra
Birincil anahtar veya benzersiz dizin oluşturun: Veri platformu üzerinde birincil anahtar ya da benzersiz dizin oluşturmayı tam yükleme tamamlanıncaya kadar ertelemek istiyorsanız bu seçeneği belirleyin.
İlk yük için
SaaS uygulama kaynaklarından veri taşırken ilk tam yüklemenin nasıl gerçekleştirileceğini ayarlayabilirsiniz:
| Önbelleğe alınmış verileri kullanma |
Bu seçenek, Tam veri taraması seçiliyken meta veri oluşturulduğunda okunan önbelleğe alınmış verileri kullanmanızı sağlar. Bu, veriler zaten kaynaktan okunduğu için API kullanımı ve kotalarla ilgili daha az ek yük oluşturur. İlk veri taramasından bu yana meydana gelen tüm değişiklikler Değişiklik verisi yakalama (CDC) ile alınabilir. |
| Kaynaktan veri yükleme |
Bu seçenek veri kaynağından yeni bir yükleme gerçekleştirir. Bu seçenek şu durumlarda yararlıdır:
|
Değişiklikleri saklama işlemi devam ediyor
Değişiklik Tablosu başlık sütunları, işlem türü (örneğin INSERT), işleme zamanı ve benzeri gibi Değişiklik İşleme işlemi hakkında bilgi sağlar. Bu bilgilere ihtiyacınız yoksa veri görevini, Değişiklik Tablolarını başlık sütunlarının bazıları veya hiçbiri olmadan oluşturacak ve böylece hedef veritabanındaki ayak izlerini azaltacak şekilde yapılandırabilirsiniz. Bunu yapmak için hariç tutmak istediğiniz başlık sütunlarının onay kutularının işaretini kaldırın.
Bir görev çalışırken ek sütunları kaldıramayacağınızı veya sütunları geri yükleyemeyeceğinizi unutmayın. İlk seçiminizi değiştirmek için önce görevi durdurmanız, ardından seçiminizi değiştirmeniz ve son olarak hedef tabloları yeniden yüklemeniz gerekir.
Veri bölümlemeyi değiştir etkinleştirildiğinde Değişiklik Tablolarına "partition_name" adlı bir ekstra başlık sütunu eklenir ve kullanıcı arayüzünde otomatik olarak seçilir. Bu sütun gerekli olduğu için hariç tutulamaz.
Başlık sütunlarının açıklaması için bkz. Değişim Tablolarını Kullanma.
Hata işleme
Veri hataları
Veri hatası işleme yalnızca Değişiklik Verisi Yakalama (CDC) güncelleme yöntemiyle desteklenir.
Veri kesme hataları
Veri kesme hataları için: Bir veya daha fazla belirli kayıtta kesilme meydana geldiğinde ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:
- Yoksay: Görev devam eder ve hata yoksayılır.
- Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Diğer veri hataları
Diğer veri hataları için: Bir veya daha fazla belirli kayıtta hata oluştuğunda ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:
- Yoksay: Görev devam eder ve hata yoksayılır.
- Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Veri hatası işlemeyi yükseltme
Diğer veri hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Kesilmeyen veri hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.
Hızlandırma eylemi: Hata işleme yükseltildiğinde ne olması gerektiğini seçin. Kullanılabilir eylemlerin yukarıda açıklanan Diğer veri hataları için açılır listesinden seçilen eyleme bağlı olduğunu unutmayın.
-
Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri için landed işlemi yapılmaz.
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Tablo hataları
Tablo hatası döndürmeden önceki yeniden deneme sayısı
Bu seçenek, tablo hata işleme ilkesinin ne zaman tetikleneceğini kontrol etmenizi sağlar. Varsayılan olarak, bir tablo hatasıyla karşılaşıldıktan sonra, üç yeniden denemeden sonra tablo askıya alınacak veya görev durdurulacaktır (seçilen eyleme göre). Bazen, SaaS uygulamasının planlı bakımı nedeniyle bir tablo hatası oluşur. Bu durumlarda, tablo hata işleme ilkesi tetiklenmeden önce bakımın tamamlanması için varsayılan yeniden deneme sayısı yeterli olmayabilir. Bu aynı zamanda görevin zamanlama aralığına da bağlıdır, çünkü görev her çalıştığında bir yeniden deneme gerçekleştirilecektir. Yani, örneğin, bir görevi her saat çalışacak şekilde zamanlarsanız ve görev çalışmaya başlar başlamaz SaaS uygulaması bakım için çevrimdışı duruma alınırsa, varsayılan üç yeniden deneme, tablo hata işleme ilkesi tetiklenmeden SaaS uygulamasının üç saate kadar çevrimdışı kalmasına izin verecektir. Daha uzun bir bakım penceresi, tablo hata işleme ilkesinin tetiklenmesini önlemek için yeniden deneme sayısını artırmanızı (veya zamanlamayı değiştirmenizi) gerektirir.
Özetle, SaaS uygulamanızın periyodik bakımdan geçtiğini biliyorsanız, en iyi uygulama, bakımın tablo hata işleme ilkesi tetiklenmeden tamamlanabilmesi için yeniden deneme sayısını zamanlamaya göre artırmaktır.
-
Bu seçenek, yalnızca Lite veya Standard SaaS uygulama bağlayıcısı ile yapılandırılmış görevler için gösterilecektir.
-
Veri Hareketi ağ geçidi kullanıyorsanız 2024.11.70 veya sonraki sürümü gereklidir.
Tablo hatasıyla karşılaşıldığında: Açılır listeden aşağıdakilerden birini seçin:
- Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Tablo hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Tablo hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.
Eskalasyon eylemi: Tablo hataları için eskalasyon politikası Görevi durdur olarak ayarlanmıştır ve değiştirilemez.
Çevresel
-
Maksimum yeniden deneme sayısı: Bu seçeneği seçin ve ardından kurtarılabilir bir çevresel hata oluştuğunda bir görevi yeniden denemek için maksimum deneme sayısını belirtin. Görev belirtilen sayıda tekrar denedikten sonra görev durdurulur ve manuel müdahale gerekir.
Bir görevi asla yeniden denememek için onay kutusunun işaretini kaldırın veya "0" olarak belirtin.
Bir görevi sonsuz sayıda yeniden denemek için "-1" belirtin
-
Yeniden deneme girişimleri arasındaki aralık (saniye): Sistemin bir görevi yeniden deneme denemeleri arasında bekleyeceği saniye sayısını seçmek veya yazmak için sayacı kullanın.
Geçerli değerler 0-2.000 arasındadır.
-
- Uzun kesintiler için yeniden deneme aralığını artır: Uzun kesintilerde yeniden deneme aralığını artırmak için bu onay kutusunu seçin. Bu seçenek etkinleştirildiğinde, Maksimum yeniden deneme aralığına ulaşılana kadar (ve belirtilen maksimum aralığa göre yeniden denemeye devam eder) her bir yeniden deneme denemesi arasındaki aralığı iki katına çıkarır.
- Maksimum yeniden deneme aralığı (saniye): Uzun kesintiler için yeniden deneme aralığını artır seçeneği etkinleştirildiğinde, bir görevi yeniden deneme denemeleri arasında beklenecek saniye sayısını seçmek veya yazmak için sayacı kullanın. Geçerli değerler 0-2.000 arasındadır.
İşleme ayarını değiştir
İşlem aktarım ayarı
-
Devam eden işlemleri şu durumda diske aktar:
İşlem verileri genellikle kaynak veya hedefe tamamen işlenene kadar bellekte tutulur. Ancak tahsis edilen bellekten daha büyük olan veya belirtilen zaman sınırı içinde işlenmeyen işlemler diske boşaltılır.
- Tüm işlemler için toplam bellek boyutu (MB): Tüm işlemlerin diske boşaltılmadan önce bellekte kaplayabileceği maksimum boyut. Varsayılan değer 1024'tür.
- İşlemlerin süresi (saniye) değerini aşıyor: Her bir işlemin diske boşaltılmadan önce bellekte kalabileceği maksimum süre. Süre, Qlik Talend Data Integration öğesinin işlemi yakalamaya başladığı andan itibaren hesaplanır. Varsayılan değer 60'tır.
Toplu ayarlama
-
İşlem başına minimum değişiklik sayısı: Her bir işleme dahil edilecek minimum değişiklik sayısı. Varsayılan değer 1000'dir.
Bilgi notuDeğişiklikler, değişiklik sayısı İşlem başına minimum değişiklik sayısı değerine eşit veya daha büyük olduğunda YA DA aşağıda açıklanan Uygulamadan önce toplu işlemler için maksimum süre (saniye) değerine erişildiğinde (hangisi önce olursa) hedefe uygulanır. Hedefe uygulanan değişikliklerin sıklığı bu iki parametre tarafından kontrol edildiğinden, kaynak kayıtlarda yapılan değişiklikler hedef kayıtlara hemen yansıtılmayabilir.
- Uygulamadan önce toplu işlemler için maksimum süre (saniye): Bir zaman aşımı bildirmeden önce işlemlerin toplu olarak toplanması için maksimum süre. Varsayılan değer 1'dir.
Aralık
SAP ODP ve SaaS uygulama (Lite) bağlayıcıları kullanılırken ayarlar
-
Her (dakikada) bir değişikleri oku
Kaynaktan okuma değişiklikleri arasındaki dakika cinsinden aralık. Geçerli aralık 1 ila 1440'tır.
Bilgi notuBu seçenek yalnızca veri görevi şununla tanımlandığında mevcuttur:
- Veri Hareketi ağ geçidi
- Aşağıdaki kaynaklardan herhangi biri:
- Yalnızca Lite bağlayıcıları aracılığıyla SaaS uygulaması
- SAP ODP
- Değişiklik verisi yakalama (CDC) güncelleme yöntemi.
SAP OData bağlayıcısı kullanılırken ayarlar
Değişiklik olup olmadığını kontrol et
-
Delta ayıklama aralığına göre: Bu seçenek belirlendiğinde veri görevi Delta çıkarma aralığına göre değişiklikleri kontrol eder.
Bilgi notuAralık, her "turdan" sonra başlayacaktır. Bir tur, veri görevinin kaynak tablolardan değişiklikleri okuması ve bunları hedefe (tek bir işlem olarak) göndermesi için geçen süre olarak tanımlanabilir. Bir turun uzunluğu, tablo ve değişiklik sayısına göre değişir. Yani 10 dakikalık bir aralık belirtirseniz ve bir tur 4 dakika sürerse değişiklikleri kontrol etme arasındaki gerçek süre 14 dakika olacaktır.-
Delta ayıklama aralığı Sisteminizden deltaların çıkarılma sıklığı. Varsayılan 60 saniyede birdir.
-
-
Zamanlandığı gibi: Bu seçenek belirlendiğinde, veri görevi deltayı bir kez çıkarır ve ardından durur. Daha sonra zamanlandığı gibi çalışmaya devam edecektir.
Bilgi notuBu seçenek yalnızca CDC döngüleri arasındaki aralık 24 saat veya daha fazla ise geçerlidir.Zamanlama hakkında bilgi için:
-
Bir çoğaltma projesindeki "Verileri veri gölüne yerleştirme" görevleri için bkz. Göl yerleştirme görevleri için CDC zamanlaması
-
Çeşitli ayarlar
- İfadeler önbellek boyutu (ifade sayısı): Daha sonra yürütülmek üzere sunucuda depolanacak maksimum hazır ifade sayısı (değişiklikleri hedefe uygularken). Varsayılan değer 50'dir. Maksimum değer 200'dür.
-
Bir birincil anahtar sütununu güncellerken DELETE ve INSERT: Bu seçenek, kaynak veritabanında tam ek günlük kaydının açılmasını gerektirir.
Bilgi notuBu ayar, SaaS uygulama Önizleme bağlayıcısı kullanırken kullanılamaz. Önizleme bağlayıcıları hem Bağlantı oluştur iletişim kutusunda hem de çevrimiçi yardımda birdüğmesiyle gösterilir.
Şema değişimi
Şemada aşağıdaki DDL değişiklik türlerinin nasıl işleneceğini seçin. Şema değişimi ayarlarını değiştirdiğinizde görevi tekrar hazırlamanız gerekir. Aşağıdaki tabloda desteklenen DDL değişiklikleri için hangi eylemlerin mevcut olduğu açıklanmaktadır.
| DDL değişikliği | Hedefe uygula | Yoksay | Tabloyu askıya al | Görevi durdurun |
|---|---|---|---|---|
| Sütun ekle | Evet | Evet | Evet | Evet |
| Sütunu yeniden adlandır | Hayır | Hayır | Evet | Evet |
| Tabloyu yeniden adlandır | Hayır | Hayır | Evet | Evet |
| Sütun veri türünü değiştir | Hayır | Evet | Evet | Evet |
| Tablo oluştur
Bir desenle eşleşen veri kümeleri eklemek için bir Seçim kuralı kullandıysanız desene uyan yeni tablolar algılanacak ve eklenecektir. |
Evet | Evet | Hayır | Hayır |
Karakter yerine koyma
Hedef veritabanındaki kaynak karakterleri değiştirebilir ya da silebilirsiniz ve/veya seçilen bir karakter kümesi tarafından desteklenmeyen kaynak karakterleri değiştirebilir ya da silebilirsiniz.
-
Tüm karakterler Unicode kod noktaları olarak belirtilmelidir.
- Karakter değiştirme işlemi Kontrol tabloları üzerinde de gerçekleştirilecektir.
-
Geçersiz değerler, tablo hücresinin sağ üst köşesinde kırmızı bir üçgenle gösterilir. Fare imlecinizi üçgenin üzerine getirdiğinizde hata mesajı görüntülenecektir.
-
Görev için tanımlanan tablo düzeyinde veya genel dönüşümler, karakter ikamesi tamamlandıktan sonra gerçekleştirilecektir.
-
Kaynak Karakterleri Değiştir veya Sil tablosunda tanımlanan ikame eylemleri, Seçili Karakter Kümesi Tarafından Desteklenmeyen Kaynak Karakterleri Değiştir veya Sil tablosunda tanımlanan ikame eyleminden önce gerçekleştirilir.
- Karakter ikamesi LOB veri türlerini desteklemez.
Kaynak karakterleri değiştirme veya silme
Belirli kaynak karakterlerin yerine geçecekleri tanımlamak için Kaynak karakterleri değiştir veya sil tablosunu kullanın. Bu, örneğin bir karakterin Unicode gösteriminin kaynak ve hedef platformlarda farklı olduğu durumlarda yararlı olabilir. Örneğin, Linux'ta Shift_JIS karakter kümesindeki eksi karakteri U+2212 olarak gösterilir ancak Windows'da U+FF0D olarak gösterilir.
| Bitiş | Şunu Yapın |
|---|---|
|
İkame eylemlerini tanımlayın. |
|
|
Belirtilen kaynak veya hedef karakteri düzenleme |
Satırın sonundaki |
|
Tablodan girişleri silme |
Satırın sonundaki |
Seçili karakter seti tarafından desteklenmeyen kaynak karakterleri değiştirme veya silme
Seçilen karakter kümesi tarafından desteklenmeyen tüm karakterler için tek bir yedek karakter tanımlamak üzere Karakter kümesine göre desteklenmeyen kaynak karakterler tablosunu kullanın.
| Bitiş | Şunu Yapın |
|---|---|
|
Bir ikame eylemi tanımlayın veya düzenleyin. |
|
|
Değiştirme eylemini devre dışı bırakın. |
Karakter Kümesi açılır listesinden boş girişi seçin. |
Veri kümesi segmentlerini paralel olarak yükleme
Tam yük sırasında veri kümesini paralel olarak yüklenecek segmentlere bölerek büyük veri kümelerinin yüklenmesini hızlandırabilirsiniz. Tablolar veri aralıklarına, tüm bölümlere, tüm alt bölümlere veya belirli bölümlere göre bölünebilir.
Daha fazla bilgi için şuraya bakın: Veri kümesi segmentlerini paralel olarak çoğaltma.
Diğer seçenekler
Bu seçenekler yalnızca belirli sürümler veya ortamlarla ilgili olduklarından kullanıcı arayüzünde gösterilmez. Sonuç olarak, Qlik Desteği veya ürün belgelerinde bunu yapmanız açıkça istenmedikçe bu seçenekleri belirlemeyin.
Bir seçeneği ayarlamak için seçeneği Özellik adı ekle alanına kopyalayıp Ekle'ye tıklayın. Ardından, aldığınız talimatlara göre değeri ayarlayın veya seçeneği etkinleştirin.
Göl yerleştirme görevleri için CDC zamanlaması
Aşağıdaki kullanım durumlarında, hedef verileri güncel tutmak için bir zamanlama aralığı tanımlamanız gerekir:
- Veri Hareketi ağ geçidi olmadan bir veri kaynağına erişme
- Bir SaaS uygulama önizleme bağlayıcısı kullanırken. Bağlayıcınızın önizlemede olup olmadığını öğrenmek için bağlayıcı yardımına bakın.
- SAP OData kaynağından değişiklikleri Zamanlandığı gibi seçeneğini kullanarak yakalarken.
Zamanlama, hedef veri kümelerinin, kaynak veri kümelerindeki değişikliklerle ne sıklıkla güncelleneceğini belirler. Zamanlama, güncelleme sıklığını belirlerken veri kümesi türü, güncelleme yöntemini belirler. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) destekliyorsa yalnızca kaynak verilerindeki değişiklikler çoğaltılacak ve ilgili hedef tablolara uygulanacaktır. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) desteklemiyorsa değişiklikler tüm kaynak verilerinin ilgili hedef tablolara yüklenerek uygulanacaktır. Kaynak veri kümelerinden bazıları CDC'yi destekliyor, bazıları desteklemiyorsa iki ayrı alt görev oluşturulacaktır ( Değişiklik verisi yakalama (CDC) güncelleme yönteminin seçildiği varsayılır): Biri, CDC'yi desteklemeyen veri kümelerini yeniden yüklemek, diğeri CDC'yi desteklemeyen veri kümelerindeki değişiklikleri yakalamak içindir. Bu durumda, veri tutarlılığını sağlamak üzere her iki görev için de aynı zamanlama aralığını sürdürmemeniz kesinlikle tavsiye edilir (gelecekte güncelleme sıklığını değiştirmeye karar verirseniz).
Zamanlamayı değiştirmek için:
-
Veri projenizi açın ve ardından aşağıdakilerden birini yapın:
- Görevler görünümündeki bir veri görevinde
öğesine tıklayın ve Zamanlama'yı seçin.
- İşlem hattı görünümündeki bir veri görevinde
öğesine tıklayın ve Zamanlama'yı seçin.
- Çoğaltma görevini açın ve Zamanlama araç çubuğu düğmesine tıklayın.
- Görevler görünümündeki bir veri görevinde
- Zamanlama ayarlarını gereken şekilde değiştirin ve ardından Tamam'a tıklayın.
Veri Hareketi ağ geçidi temel alınarak bir görev için kaçırılan bir çalıştırmayı yürütme
Bazen bir ağ sorunu Veri Hareketi ağ geçidi bağlantısının kaybolmasına neden olabilir. Veri Hareketi ağ geçidi bağlantısı bir sonraki zamanlanmış çalıştırmadan önce geri yüklenmezse veri görevi zamanlandığı gibi çalışamayacaktır. Bu gibi durumlarda, bağlantı yeniden kurulduktan sonra bir çalıştırmanın hemen yürütülüp yürütülmeyeceğini seçebilirsiniz.
Tüm Veri Hareketi ağ geçidi'ler için varsayılan ayarlar Yönetim etkinlik merkezinde tanımlanır. Bu ayarları, aşağıda açıklandığı gibi bireysel görevler için geçersiz kılabilirsiniz.
Bunu yapmak için
-
Projenizi açın ve ardından aşağıdakilerden birini yapın:
-
Görevler görünümündeki veri görevinde
öğesine tıklayın ve Zamanlama'yı seçin.
-
İşlem hattı görünümündeki veri görevinde
öğesine tıklayın ve Zamanlama'yı seçin.
-
Veri görevini açın ve Zamanlama araç çubuğu düğmesine tıklayın.
The Zamanlama - <task> iletişim kutusu açılır.
-
-
Bu görev için özel ayarlar kullan'ı açın.
-
İletişim kutusunun altında, aşağıdaki Kaçırılan zamanlanmış görevleri çalıştır seçeneklerinden birini seçin.
-
Bir görevi bir sonraki zamanlanmış örnekten önce çalıştırmak önemliyse Mümkün olan en kısa sürede ve ardından zamanlandığı gibi
-
Görevi bir sonraki zamanlanmış örnekte çalıştırmak için Zamanlandığı gibi
-
-
Ayarlarınızı kaydedin.
Ayrıca bk. Kaçırılan bir zamanlamadan sonra bir görev çalıştırmasını yürütme.