Yerleştirme ayarları
Yerleştirme veri görevi için ayarları yapılandırabilirsiniz.
-
Yerleştirme görevini açın ve araç çubuğunda Ayarlar öğesine tıklayın.
Ayarlar: <Görev-Adı> iletişim kutusu açılır. Kullanılabilir ayarlar aşağıda açıklanmıştır.
Genel
-
Veritabanı
Hedefte kullanılacak veritabanı.
Bilgi notuBu seçenek, veriler Qlik Cloud hedefine (Amazon S3 aracılığıyla) yerleştirilirken kullanılamaz. -
Görev şeması
Yerleştirme veri görevi şemasının adını değiştirebilirsiniz. Varsayılan ad landing şeklindedir.
Bilgi notuBu seçenek, veriler Qlik Cloud hedefine (Amazon S3 aracılığıyla) yerleştirilirken kullanılamaz. -
Şema adının varsayılan büyük/küçük harf kullanımı
Tüm şema adları için varsayılan büyük/küçük harf kullanımını ayarlayabilirsiniz. Veritabanınız büyük/küçük harf kullanımını zorlayacak şekilde yapılandırılmışsa bu seçenek etkili olmaz.
-
Tüm tablolar ve görünümler için ön ek
Bu görevle oluşturulan tüm tablolar ve görünümler için bir ön ek ayarlayabilirsiniz.
Bilgi notuBu seçenek, veriler Qlik Cloud hedefine (Amazon S3 aracılığıyla) yerleştirilirken kullanılamaz.Bilgi notuBir veritabanı şemasını birden fazla veri görevinde kullanmak istediğinizde benzersiz bir ön ek kullanmalısınız. -
Güncelleme yöntemi
Yerleştirme görevi her zaman bir Tam Yükleme ile başlar. Tam Yükleme tamamlandıktan sonra yerleştirilen verileri aşağıdaki yöntemlerden birini kullanarak güncel tutabilirsiniz:
Bilgi notuYerleştirme veri görevi hazırlama işlemi tamamlandıktan sonra güncelleme yöntemini değiştirmek mümkün değildir.-
Değişiklik verisi yakalama (CDC)
Yerleştirilen veriler CDC (Change Data Capture) teknolojisi kullanılarak güncel tutulur. CDC tüm veri kaynakları tarafından desteklenmeyebilir. CDC, sütunları yeniden adlandırma veya meta verilerde değişik yapma gibi DDL işlemlerini yakalamaz.
Verileriniz CDC'yi desteklemeyen görünümler veya tablolar içeriyorsa iki veri işlem hattı oluşturulacaktır. CDC'yi destekleyen tüm tabloları içeren bir işlem hattı ve güncelleme yöntemi olarak Yeniden yükle ve karşılaştır seçeneğini kullanan diğer tüm tablolar ve görünümlerin bulunduğu başka bir işlem hattı.
-
Yeniden yükleme ve karşılaştırma
Yerleştirilen tüm veriler kaynaktan yeniden yüklenir. Kaynağınız CDC'yi desteklemiyorsa bu yararlı olabilir, ancak desteklenen her veri kaynağı ile kullanılabilir.
Yeniden yüklemeleri düzenli aralıklarla zamanlayabilirsiniz.
-
-
Yükleme yöntemi
Bir Snowflake hedefine çoğaltma yaparken aşağıdaki yükleme yöntemlerinden birini seçebilirsiniz:
-
Toplu yükleme (varsayılan)
Toplu Yükleme'yi seçerseniz Veri yükleme sekmesinde yükleme parametrelerini ayarlayabileceksiniz.
-
Snowpipe Akışı
Bilgi notuSnowpipe Akışı yalnızca aşağıdaki koşullar karşılandığında seçilebilecektir:
- Değişiklik verisi yakalama (CDC) güncelleme yöntemi etkinleştirilmiştir.
- Snowflake bağlayıcısındaki Kimlik Doğrulama Mekanizması Anahtar Çifti olarak ayarlanmıştır.
- Veri Hareketi ağ geçidi kullanıyorsanız 2024.11.45 veya sonraki sürümü gereklidir.
Snowpipe Akışını seçerseniz bu yöntemi kullanırken sınırlamaları ve dikkat edilmesi gereken hususları bildiğinizden emin olun. Ayrıca Snowpipe Akışı'nı seçip ardından Yeniden yükle ve karşılaştır güncelleme yöntemine geçerseniz yükleme yöntemi otomatik olarak Toplu yükleme'ye geri dönecektir.
Toplu yükleme yerine Snowpipe Akışı'nı seçmenin ana nedenleri şunlardır:
-
Daha az maliyetli: Snowpipe Akışı, Snowflake deposunu kullanmadığından, işletim maliyetleri önemli ölçüde daha ucuz olmalıdır, ancak bu sizin özel kullanım durumunuza bağlı olacaktır.
-
Daha az gecikme süresi: Veriler doğrudan hedef tablolara aktarıldığından (hazırlama yerine), veri kaynağından hedefe çoğaltma daha hızlı olmalıdır.
İpucu notuSnowpipe Akışı kullanırken, ilk tam yükleme Toplu yükleme'ye göre önemli ölçüde daha yavaş olabilir. Yükleme performansını optimize etmek için, özellikle büyük veri kümeleri yüklenirken en iyi uygulama, Snowpipe Akışı'nı paralel yükleme özelliği ile birlikte kullanmaktır. -
-
Hazırlama alanında kullanılacak klasör
Hazırlama alanı gerektiren veri platformları için (örneğin, Databricks ve Azure Synapse Analytics), verileri yerleştirirken hangi klasörün kullanılacağını seçebilirsiniz.
-
Varsayılan klasör
Bu, varsayılan adla bir klasör oluşturur: <proje adı>/<veri görevi adı>.
-
Kök klasör
Verileri depolama alanının kök klasöründe depolar.
Bilgi notuBu seçenek yalnızca veriler Qlik Cloud hedefine (Amazon S3 aracılığıyla) yerleştirilirken kullanılabilir. -
Klasör
Kullanılacak bir klasör adı belirtin.
-
-
Değişiklik işleme aralığı
Kaynaktan gelen değişikliklerin işlenmesi arasındaki aralığı ayarlayabilirsiniz.
Bilgi notuBu seçenek yalnızca veriler Qlik Cloud hedefine (Amazon S3 aracılığıyla) yerleştirilirken kullanılabilir. -
Data Movement gateway kullanırken proxy sunucusu
Bilgi notuBu seçenek yalnızca hedeflere Data Movement gateway aracılığıyla erişilirken kullanılabilir.Data Movement ağ geçidi bulut veri deposu ve depolama alanına bağlanırken bir proxy sunucusu kullanmayı seçebilirsiniz.
Data Movement ağ geçidini bir proxy sunucusu kullanacak şekilde yapılandırma hakkında daha fazla bilgi için bkz. Qlik Cloud kiracısını ve bir proxy sunucusunu ayarlama.
-
Bulut veri deposuna bağlanmak için proxy kullan
Bilgi notuSnowflake, Google BigQuery ve Databricks kullanırken kullanılabilir. -
Depolama alanına bağlanmak için proxy kullan
Bilgi notuAzure Synapse Analytics, Amazon Redshift ve Databricks kullanırken kullanılabilir.
-
Veri yükleme
Bu sekmedeki bazı ayarlar yalnızca belirli hedef platformlarla ilgilidir.
Qlik Cloud ve Snowflake dışındaki tüm veri platformları için geçerlidir
Maksimum dosya boyutu (MB)
Bir dosyanın kapatılmadan önce ulaşabileceği maksimum boyut. Küçük dosyalar daha hızlı yüklenir (ağa bağlı olarak) ve paralel yürütme seçeneğiyle birlikte kullanıldığında performansı iyileştirir. Ancak küçük dosyalarla veritabanını dağıtmak genellikle kötü bir uygulama olarak kabul edilir.
Yalnızca Google BigQuery için geçerlidir
Sıkıştırma kullan
Seçildiğinde, CSV dosyaları Google BigQuery'ye yüklenmeden önce (gzip kullanılarak) sıkıştırılır.
Veri Hareketi ağ geçidi 2023.5.16 veya daha yeni bir sürümünü gerektirir.
Yalnızca Snowflake için geçerlidir
Genel sekmesinde, verileri Snowflake'e Toplu Yükleme veya Snowpipe Akışı kullanarak yükleyip yüklemeyeceğinizi seçebilirsiniz. Snowpipe Akışı seçildiğinde, Veri yükleme sekmesi gösterilmez. Toplu Yükleme seçildiğinde aşağıdaki ayarlar kullanılabilir olacaktır:
-
Maksimum dosya boyutu (MB): İlk Tam Yük ve CDC için geçerlidir. Bir dosyanın hedefe yüklenmeden önce ulaşabileceği maksimum boyut. Performans sorunlarıyla karşılaşırsanız bu parametreyi ayarlamayı deneyin.
-
Bir toplu işlemde yüklenecek dosya sayısı: Yalnızca ilk Tam Yük için geçerlidir. Tek bir toplu işlemde yüklenecek dosya sayısı. Performans sorunlarıyla karşılaşırsanız bu parametreyi ayarlamayı deneyin.
Toplu Yükleme ve Snowpipe Akışı yükleme yöntemlerinin açıklaması için bkz. Genel.
Meta veriler
LOB sütunları
LOB sütunlarını dahil et ve sütun boyutunu şununla sınırla (KB):
Göreve LOB sütunlarını dahil etmeyi seçebilir ve maksimum LOB boyutunu ayarlayabilirsiniz. Maksimum boyuttan daha büyük olan LOB'lar kesilir.
Kontrol tabloları
Hedef platformda aşağıdaki kontrol tablolarından hangilerinin oluşturulmasını istediğinizi seçin:
- Yerleştirme Durumu: Görev durumu, görev tarafından tüketilen bellek miktarı, veri platformuna henüz uygulanmamış değişikliklerin sayısı ve Veri Hareketi ağ geçidi öğesinin şu anda okuduğu kaynak uç noktasındaki konum dahil olmak üzere geçerli yerleştirme görevi hakkında ayrıntılar sağlar.
- Askıya Alınan Tablolar: Askıya alınan tabloların bir listesini ve askıya alınma nedenlerini sağlar.
- Yerleştirme Geçmişi: Bir yerleştirme görevi sırasında işlenen kayıtların sayısı ve hacmi, bir CDC görevinin sonundaki gecikme süresi ve daha fazlası dahil olmak üzere görev geçmişi hakkında bilgi sağlar.
-
DDL Geçmişi: Bir görev sırasında meydana gelen tüm desteklenen DDL değişikliklerinin geçmişini içerir.
DDL Geçmiş tablosu sadece aşağıdaki hedef platformlarla desteklenmektedir:
-
Databricks
- Microsoft Fabric
- Amazon Redshift
- Eğer Veri Hareketi ağ geçidi kullanıyorsanız, aşağıdaki hedefler 2024.11.14 veya sonraki sürümü gerektirir:
- Amazon S3
- Google Cloud Storage
- Snowflake
- Kafka - Veri Hareketi ağ geçidi kullanıyorsanız, 2025.5.42 veya sonraki sürümü gereklidir.
- Eğer Veri Hareketi ağ geçidi kullanıyorsanız, aşağıdaki hedefler 2025.11.1 veya sonraki sürümü gerektirir:
- Google BigQuery
- Google Cloud Alloy DB for PostgreSQL (PostgreSQL bağlayıcısı aracılığıyla)
- Google Cloud SQL for PostgreSQL (PostgreSQL bağlayıcısı aracılığıyla)
- Microsoft Azure Database for PostgreSQL (PostgreSQL bağlayıcısı aracılığıyla)
- PostgreSQL
-
Kontrol tablolarının her birinin ayrıntılı açıklaması için bkz. Kontrol tabloları
Tam yük
Performans ayarlama
- Paralel olarak yüklenecek maksimum tablo sayısı: Hedefe aynı anda yüklenecek maksimum tablo sayısını girin. Varsayılan değer 5'tir.
-
İşlem tutarlılığı zaman aşımı (saniye): Tam Yük işlemini başlatmadan önce açık işlemlerin kapanması için beklenecek saniye sayısını girin. Varsayılan değer 600'dür (10 dakika). Tam yük, hala açık olan işlemler olsa bile zaman aşımı değerine ulaşıldıktan sonra başlayacaktır.
Bilgi notuTam Yük başladığında açık olan ancak yalnızca zaman aşımı değerine ulaşıldıktan sonra işlenen işlemleri çoğaltmak için hedef tabloları yeniden yüklemeniz gerekir. - Tam yük sırasında işleme oranı: Birlikte aktarılabilecek maksimum olay sayısı. Varsayılan değer 10000'dir.
Tam yük tamamlandıktan sonra
Birincil anahtar veya benzersiz oluştur: Veri platformunda birincil anahtarın veya benzersiz dizinin oluşturulmasını tam yük tamamlanana kadar ertelemek istiyorsanız bu seçeneği belirleyin.
İlk yükleme için
SaaS uygulama kaynaklarından veri taşırken ilk tam yüklemenin nasıl gerçekleştirileceğini ayarlayabilirsiniz:
| Önbelleğe alınmış verileri kullanma |
Bu seçenek, Tam veri taraması seçiliyken meta veri oluşturulduğunda okunan önbelleğe alınmış verileri kullanmanızı sağlar. Bu, veriler zaten kaynaktan okunduğu için API kullanımı ve kotalarla ilgili daha az ek yük oluşturur. İlk veri taramasından bu yana meydana gelen tüm değişiklikler Değişiklik verisi yakalama (CDC) ile alınabilir. |
| Kaynaktan veri yükleme |
Bu seçenek veri kaynağından yeni bir yükleme gerçekleştirir. Bu seçenek şu durumlarda yararlıdır:
|
Hata işleme
Veri hataları
Veri hatası işleme yalnızca Değişiklik Verilerini Yakalama (CDC) güncelleme yöntemiyle desteklenir.
Veri kesme hataları için: Bir veya daha fazla belirli kayıtta kesilme meydana geldiğinde ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:
- Yoksay: Görev devam eder ve hata yoksayılır.
- Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Diğer veri hataları için: Bir veya daha fazla belirli kayıtta hata oluştuğunda ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:
- Yoksay: Görev devam eder ve hata yoksayılır.
- Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Diğer veri hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Kesilmeyen veri hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.
Hızlandırma eylemi: Hata işleme yükseltildiğinde ne olması gerektiğini seçin. Kullanılabilir eylemlerin yukarıda açıklanan Diğer veri hataları için açılır listesinden seçilen eyleme bağlı olduğunu unutmayın.
-
Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri için landed işlemi yapılmaz.
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Tablo hataları
Tablo hatası döndürmeden önceki yeniden deneme sayısı
Bu seçenek, tablo hata işleme ilkesinin ne zaman tetikleneceğini kontrol etmenizi sağlar. Varsayılan olarak, bir tablo hatasıyla karşılaşıldıktan sonra, üç yeniden denemeden sonra tablo askıya alınacak veya görev durdurulacaktır (seçilen eyleme göre). Bazen, SaaS uygulamasının planlı bakımı nedeniyle bir tablo hatası oluşur. Bu durumlarda, tablo hata işleme ilkesi tetiklenmeden önce bakımın tamamlanması için varsayılan yeniden deneme sayısı yeterli olmayabilir. Bu aynı zamanda görevin zamanlama aralığına da bağlıdır, çünkü görev her çalıştığında bir yeniden deneme gerçekleştirilecektir. Yani, örneğin, bir görevi her saat çalışacak şekilde zamanlarsanız ve görev çalışmaya başlar başlamaz SaaS uygulaması bakım için çevrimdışı duruma alınırsa, varsayılan üç yeniden deneme, tablo hata işleme ilkesi tetiklenmeden SaaS uygulamasının üç saate kadar çevrimdışı kalmasına izin verecektir. Daha uzun bir bakım penceresi, tablo hata işleme ilkesinin tetiklenmesini önlemek için yeniden deneme sayısını artırmanızı (veya zamanlamayı değiştirmenizi) gerektirir.
Özetle, SaaS uygulamanızın periyodik bakımdan geçtiğini biliyorsanız, en iyi uygulama, bakımın tablo hata işleme ilkesi tetiklenmeden tamamlanabilmesi için yeniden deneme sayısını zamanlamaya göre artırmaktır.
-
Bu seçenek, yalnızca Lite veya Standard SaaS uygulama bağlayıcısı ile yapılandırılmış görevler için gösterilecektir.
-
Veri Hareketi ağ geçidi kullanıyorsanız 2024.11.70 veya sonraki sürümü gereklidir.
Tablo hatasıyla karşılaşıldığında: Açılır listeden aşağıdakilerden birini seçin:
- Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Tablo hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Tablo hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.
Eskalasyon eylemi: Tablo hataları için eskalasyon politikası Görevi durdur olarak ayarlanmıştır ve değiştirilemez.
Çevresel
-
Maksimum yeniden deneme sayısı: Bu seçeneği seçin ve ardından kurtarılabilir bir çevresel hata oluştuğunda bir görevi yeniden denemek için maksimum deneme sayısını belirtin. Görev belirtilen sayıda tekrar denedikten sonra görev durdurulur ve manuel müdahale gerekir.
Bir görevi asla yeniden denememek için onay kutusunun işaretini kaldırın veya "0" olarak belirtin.
Bir görevi sonsuz sayıda yeniden denemek için "-1" belirtin
-
Yeniden deneme girişimleri arasındaki aralık (saniye): Sistemin bir görevi yeniden deneme denemeleri arasında bekleyeceği saniye sayısını seçmek veya yazmak için sayacı kullanın.
Geçerli değerler 0-2.000 arasındadır.
-
- Uzun kesintiler için yeniden deneme aralığını artır: Uzun kesintilerde yeniden deneme aralığını artırmak için bu onay kutusunu seçin. Bu seçenek etkinleştirildiğinde, Maksimum yeniden deneme aralığına ulaşılana kadar (ve belirtilen maksimum aralığa göre yeniden denemeye devam eder) her bir yeniden deneme denemesi arasındaki aralığı iki katına çıkarır.
- Maksimum yeniden deneme aralığı (saniye): Uzun kesintiler için yeniden deneme aralığını artır seçeneği etkinleştirildiğinde, bir görevi yeniden deneme denemeleri arasında beklenecek saniye sayısını seçmek veya yazmak için sayacı kullanın. Geçerli değerler 0-2.000 arasındadır.
Değişiklik işleme ayarlama
İşlemsel boşaltma ayarlama
-
Şu durumlarda devam eden işlemleri diske boşalt:
İşlem verileri genellikle kaynağa veya hedefe tam olarak işlenene kadar bellekte tutulur. Ancak, ayrılan bellekten daha büyük olan veya belirtilen süre sınırı içinde işlenmeyen işlemler diske boşaltılacaktır.
- Tüm işlemler için toplam bellek boyutu şunu aşıyor (MB): Tüm işlemlerin diske boşaltılmadan önce bellekte kaplayabileceği maksimum boyut. Varsayılan değer 1024'tür.
- İşlem süresi şunu aşıyor (saniye): Her bir işlemin diske boşaltılmadan önce bellekte kalabileceği maksimum süre. Süre, Qlik Talend Data Integration öğesinin işlemi yakalamaya başladığı andan itibaren hesaplanır. Varsayılan değer 60'tır.
Toplu işlem ayarlama
Bu sekmedeki bazı ayarlar tüm hedefler veya hedef yükleme yöntemleri için geçerli olmayabilir.
"Yükleme yöntemi" "Snowpipe Akışı" olduğunda Qlik Cloud ve Snowflake dışındaki tüm hedefler için geçerli olan ayarlar
- Toplu değişiklikleri aralıklarla uygula:
-
Şundan fazla: Toplu değişikliklerin her uygulaması arasında beklenecek minimum süre. Varsayılan değer 1'dir.
Şundan fazla değerini artırmak, değişikliklerin hedefe uygulanma sıklığını azaltırken toplu işlemlerin boyutunu artırır. Bu, büyük toplu işlemleri işlemek için optimize edilmiş hedef veritabanlarına değişiklikler uygulanırken performansı artırabilir.
- Şundan az: Toplu değişikliklerin her uygulaması arasında (zaman aşımı bildirmeden önce) beklenecek maksimum süre. Başka bir deyişle, kabul edilebilir maksimum gecikme süresi. Varsayılan değer 30'dur. Bu değer, Şundan büyük değerine ulaşıldıktan sonra değişiklikleri uygulamadan önce beklenecek maksimum süreyi belirler.
-
İşleme belleği şunu aştığında bir toplu işlemi zorla uygula (MB): Ön işleme için kullanılacak maksimum bellek miktarı. Varsayılan değer 500 MB'tır.
Maksimum toplu işlem boyutu için bu değeri veri görevine ayırabileceğiniz en yüksek bellek miktarına ayarlayın. Bu, büyük toplu işlemleri işlemek için optimize edilmiş hedef veritabanlarına değişiklikler uygulanırken performansı artırabilir.
-
Toplu değişiklikleri aynı anda birden fazla tabloya uygula: Bu seçeneğin belirlenmesi, birden fazla kaynak tablodan değişiklikler uygulanırken performansı artırmalıdır.
-
Maksimum tablo sayısı: Toplu değişikliklerin aynı anda uygulanacağı maksimum tablo sayısı. Varsayılan değer beştir.
Bilgi notuBu seçenek, veri platformunuz olarak Google BigQuery kullanıldığında desteklenmez. -
-
Değişiklik işleme ifadesi başına uygulanan değişiklik sayısını şununla sınırla: Tek bir değişiklik işleme ifadesinde uygulanan değişiklik sayısını sınırlamak için bu seçeneği belirleyin. Varsayılan değer 10.000'dir.
Bilgi notuBu seçenek yalnızca veri platformunuz olarak Google BigQuery kullanıldığında desteklenir.
"Yükleme yöntemi" "Snowpipe Akışı" olduğunda yalnızca Qlik Cloud ve Snowflake için geçerli olan ayarlar
-
İşlem başına minimum değişiklik sayısı: Her bir işleme dahil edilecek minimum değişiklik sayısı. Varsayılan değer 1000'dir.
Bilgi notuDeğişiklikler, değişiklik sayısı İşlem başına minimum değişiklik sayısı değerine eşit veya daha büyük olduğunda YA DA aşağıda açıklanan Uygulamadan önce toplu işlemler için maksimum süre (saniye) değerine erişildiğinde (hangisi önce olursa) hedefe uygulanır. Hedefe uygulanan değişikliklerin sıklığı bu iki parametre tarafından kontrol edildiğinden, kaynak kayıtlarda yapılan değişiklikler hedef kayıtlara hemen yansıtılmayabilir.
- Uygulamadan önce toplu işlemler için maksimum süre (saniye): Bir zaman aşımı bildirmeden önce işlemlerin toplu olarak toplanması için maksimum süre. Varsayılan değer 1'dir.
Aralık
SAP ODP ve SaaS uygulama (Lite) bağlayıcıları kullanılırken ayarlar
-
Her (dakikada) bir değişikleri oku
Kaynaktan okuma değişiklikleri arasındaki dakika cinsinden aralık. Geçerli aralık 1 ila 1440'tır.
Bilgi notuBu seçenek yalnızca veri görevi şununla tanımlandığında mevcuttur:
- Veri Hareketi ağ geçidi
- Aşağıdaki kaynaklardan herhangi biri:
- Yalnızca Lite bağlayıcıları aracılığıyla SaaS uygulaması
- SAP ODP
- Değişiklik verisi yakalama (CDC) güncelleme yöntemi.
SAP OData bağlayıcısı kullanılırken ayarlar
Değişiklik olup olmadığını kontrol et
-
Delta ayıklama aralığına göre: Bu seçenek belirlendiğinde veri görevi Delta çıkarma aralığına göre değişiklikleri kontrol eder.
Bilgi notuAralık, her "turdan" sonra başlayacaktır. Bir tur, veri görevinin kaynak tablolardan değişiklikleri okuması ve bunları hedefe (tek bir işlem olarak) göndermesi için geçen süre olarak tanımlanabilir. Bir turun uzunluğu, tablo ve değişiklik sayısına göre değişir. Yani 10 dakikalık bir aralık belirtirseniz ve bir tur 4 dakika sürerse değişiklikleri kontrol etme arasındaki gerçek süre 14 dakika olacaktır.-
Delta ayıklama aralığı Sisteminizden deltaların çıkarılma sıklığı. Varsayılan 60 saniyede birdir.
-
-
Zamanlandığı gibi: Bu seçenek belirlendiğinde, veri görevi deltayı bir kez çıkarır ve ardından durur. Daha sonra zamanlandığı gibi çalışmaya devam edecektir.
Bilgi notuBu seçenek yalnızca CDC döngüleri arasındaki aralık 24 saat veya daha fazla ise geçerlidir.Zamanlama hakkında bilgi için:
-
Bir veri işlem hattı projesindeki yerleştirme görevleri için bkz. Görevleri zamanlama
-
Çeşitli ayarlamalar
- İfade önbelleği boyutu (ifade sayısı): Daha sonra yürütülmek üzere (değişiklikler hedefe uygulanırken) sunucuda depolanacak maksimum hazırlanmış ifade sayısı. Varsayılan değer 50'dir. Maksimum değer 200'dür.
-
Birincil anahtar sütununu güncellerken DELETE ve INSERT: Bu seçenek, kaynak veritabanında tam ek günlüğe kaydetmenin açık olmasını gerektirir.
Şema evrimi
Şemadaki aşağıdaki DDL değişikliği türlerinin nasıl işleneceğini seçin. Şema evrimi ayarlarını değiştirdiğinizde görevi yeniden hazırlamanız gerekir. Aşağıdaki tablo, desteklenen DDL değişiklikleri için hangi eylemlerin kullanılabileceğini açıklamaktadır.
| DDL değişikliği | Hedefe uygula | Yoksay | Tabloyu askıya al | Görevi durdur |
|---|---|---|---|---|
| Sütun ekle | Evet | Evet | Evet | Evet |
| Sütunu yeniden adlandır | Hayır | Hayır | Evet | Evet |
| Tabloyu yeniden adlandır | Hayır | Hayır | Evet | Evet |
| Sütun veri türünü değiştir | Hayır | Evet | Evet | Evet |
| Tablo oluştur
Bir desenle eşleşen veri kümelerini eklemek için bir Seçim kuralı kullandıysanız, deseni karşılayan yeni tablolar algılanacak ve eklenecektir. |
Evet | Evet | Hayır | Hayır |
Karakter değiştirme
Hedef veritabanındaki kaynak karakterleri değiştirebilir ya da silebilirsiniz ve/veya seçilen bir karakter kümesi tarafından desteklenmeyen kaynak karakterleri değiştirebilir ya da silebilirsiniz.
-
Tüm karakterler Unicode kod noktaları olarak belirtilmelidir.
- Karakter değiştirme işlemi Kontrol tabloları üzerinde de gerçekleştirilecektir.
-
Geçersiz değerler, tablo hücresinin sağ üst köşesinde kırmızı bir üçgenle gösterilir. Fare imlecinizi üçgenin üzerine getirdiğinizde hata mesajı görüntülenecektir.
-
Görev için tanımlanan tablo düzeyinde veya genel dönüşümler, karakter ikamesi tamamlandıktan sonra gerçekleştirilecektir.
-
Kaynak Karakterleri Değiştir veya Sil tablosunda tanımlanan ikame eylemleri, Seçili Karakter Kümesi Tarafından Desteklenmeyen Kaynak Karakterleri Değiştir veya Sil tablosunda tanımlanan ikame eyleminden önce gerçekleştirilir.
- Karakter ikamesi LOB veri türlerini desteklemez.
Kaynak karakterleri değiştirme veya silme
Belirli kaynak karakterlerin yerine geçecekleri tanımlamak için Kaynak karakterleri değiştir veya sil tablosunu kullanın. Bu, örneğin bir karakterin Unicode gösteriminin kaynak ve hedef platformlarda farklı olduğu durumlarda yararlı olabilir. Örneğin, Linux'ta Shift_JIS karakter kümesindeki eksi karakteri U+2212 olarak gösterilir ancak Windows'da U+FF0D olarak gösterilir.
| Bitiş | Şunu Yapın |
|---|---|
|
İkame eylemlerini tanımlayın. |
|
|
Belirtilen kaynak veya hedef karakteri düzenleme |
Satırın sonundaki |
|
Tablodan girişleri silme |
Satırın sonundaki |
Seçili karakter seti tarafından desteklenmeyen kaynak karakterleri değiştirme veya silme
Seçilen karakter kümesi tarafından desteklenmeyen tüm karakterler için tek bir yedek karakter tanımlamak üzere Karakter kümesine göre desteklenmeyen kaynak karakterler tablosunu kullanın.
| Bitiş | Şunu Yapın |
|---|---|
|
Bir ikame eylemi tanımlayın veya düzenleyin. |
|
|
Değiştirme eylemini devre dışı bırakın. |
Karakter Kümesi açılır listesinden boş girişi seçin. |
Daha fazla seçenek
Bu seçenekler yalnızca belirli sürümler veya ortamlarla ilgili olduklarından kullanıcı arayüzünde gösterilmez. Sonuç olarak, Qlik Desteği veya ürün belgelerinde bunu yapmanız açıkça istenmedikçe bu seçenekleri belirlemeyin.
Bir seçeneği ayarlamak için seçeneği Özellik adı ekle alanına kopyalayıp Ekle'ye tıklayın. Ardından, aldığınız talimatlara göre değeri ayarlayın veya seçeneği etkinleştirin.
Veri kümesi segmentlerini paralel olarak yükleme
Tam yük sırasında, veri kümesini paralel olarak yüklenecek segmentlere bölerek büyük veri kümelerinin yüklenmesini hızlandırabilirsiniz. Tablolar veri aralıklarına, tüm bölümlere, tüm alt bölümlere veya belirli bölümlere ayrılabilir.
Daha fazla bilgi için bkz. Veri kümesi segmentlerini paralel olarak yerleştirme.
Görevleri zamanlama
Aşağıdaki kullanım durumlarında, hedef verileri güncel tutmak için bir zamanlama aralığı tanımlamanız gerekir:
- Bir veri kaynağına Veri Hareketi ağ geçidi olmadan erişme
- Değişiklikleri şu sıklıkta oku ayarını desteklemeyen bir SaaS uygulama bağlayıcısı kullanma
- Zamanlandığı gibi seçeneğini kullanarak bir SAP OData kaynağından değişiklikleri yakalarken.
Zamanlama, hedef veri kümelerinin kaynak veri kümelerindeki değişikliklerle ne sıklıkta güncelleneceğini belirler. Zamanlama güncelleme sıklığını belirlerken, veri kümesi türü güncelleme yöntemini belirler. Kaynak veri kümeleri CDC'yi (Değişiklik verilerini yakalama) destekliyorsa, yalnızca kaynak verilerdeki değişiklikler çoğaltılır ve ilgili hedef tablolara uygulanır. Kaynak veri kümeleri CDC'yi desteklemiyorsa (örneğin, Görünümler), değişiklikler tüm kaynak verilerin ilgili hedef tablolara yeniden yüklenmesiyle uygulanacaktır. Kaynak veri kümelerinden bazıları CDC'yi destekliyor ve bazıları desteklemiyorsa, iki ayrı alt görev oluşturulacaktır: biri CDC'yi desteklemeyen veri kümelerini yeniden yüklemek için, diğeri ise CDC'yi destekleyen veri kümelerindeki değişiklikleri yakalamak için. Bu durumda, veri tutarlılığını sağlamak için her iki görev için de aynı zamanlama aralığını korumamanız şiddetle tavsiye edilir (gelecekte güncelleme sıklığını değiştirmeye karar verirseniz).
Veri kaynağı türü ve abonelik kademesine göre minimum zamanlama aralıkları hakkında bilgi için bkz. İzin verilen minimum zamanlama aralıkları.
Zamanlamayı değiştirmek için:
-
İşlem hattı projenizi açın ve ardından aşağıdakilerden birini yapın:
- Görevler görünümünde, veri görevi üzerindeki
simgesine tıklayın ve Zamanlama öğesini seçin.
- İşlem hattı görünümünde, veri görevi üzerindeki
simgesine tıklayın ve Zamanlama öğesini seçin.
- Yerleştirme görevini açın ve araç çubuğundaki Zamanlama düğmesine tıklayın.
- Görevler görünümünde, veri görevi üzerindeki
- Zamanlama ayarlarını gerektiği gibi değiştirin ve ardından Tamam öğesine tıklayın.
Veri Hareketi ağ geçidi tabanlı bir görev için kaçırılan bir çalıştırmayı yürütme
Bazen bir ağ sorunu Veri Hareketi ağ geçidi bağlantısının kaybolmasına neden olabilir. Veri Hareketi ağ geçidi bağlantısı bir sonraki zamanlanmış çalıştırmadan önce geri yüklenmezse veri görevi zamanlandığı gibi çalışamayacaktır. Bu gibi durumlarda, bağlantı yeniden kurulduktan sonra bir çalıştırmanın hemen yürütülüp yürütülmeyeceğini seçebilirsiniz.
Tüm Veri Hareketi ağ geçidi'lar için varsayılan ayarlar Yönetim etkinlik merkezinde tanımlanmıştır. Aşağıda açıklandığı gibi bu ayarları tek tek görevler için geçersiz kılabilirsiniz.
Bunu yapmak için
-
Projenizi açın ve ardından aşağıdakilerden birini yapın:
-
Görevler görünümünde, veri görevi üzerindeki
simgesine tıklayın ve Zamanlama öğesini seçin.
-
İşlem hattı görünümünde, veri görevi üzerindeki
simgesine tıklayın ve Zamanlama öğesini seçin.
-
Veri görevini açın ve araç çubuğundaki Zamanlama düğmesine tıklayın.
Zamanlama - <görev> iletişim kutusu açılır.
-
-
Bu görev için özel ayarları kullan seçeneğini açın.
-
İletişim kutusunun alt kısmında, aşağıdaki Kaçırılan zamanlanmış görevleri çalıştır seçeneklerinden birini belirleyin.
-
Bir görevi bir sonraki zamanlanmış örnekten önce çalıştırmak önemliyse Mümkün olan en kısa sürede ve ardından zamanlandığı gibi
-
Görevi bir sonraki zamanlanmış örnekte çalıştırmak için Zamanlandığı gibi
-
-
Ayarlarınızı kaydedin.
Ayrıca bkz. Kaçırılan bir zamanlamadan sonra bir görev çalıştırmasını yürütme.