Çoğaltma ayarları
Veri çoğaltma görevi için ayarları yapılandırabilirsiniz.
-
Çoğaltma görevini açın ve araç çubuğunda Ayarlar'a tıklayın.
Ayarlar: <Task-Name> diyalog penceresi açılır. Mevcut ayarlar aşağıda açıklanmıştır.
Genel
Bu sekmede, çoğaltma modunu, hazırlama ayarlarını (mevcut olduğunda) ve değişiklikleri hedefe uygulama modunu değiştirebilirsiniz.
Çoğaltma modu
Aşağıdaki çoğaltma modları kullanılabilir:
-
Tam yük: Verileri seçilen kaynak tablolardan hedef platforma yükler ve gerekirse hedef tabloları oluşturur. Tam yük, görev başlatıldığında otomatik olarak gerçekleşir ancak ihtiyaç duyulması halinde manuel olarak da gerçekleştirilebilir. Örneğin, Görünümlerdeki (CDC sırasında yakalanmayan) güncellemeleri çoğaltmanız gerekiyorsa veya CDC'yi desteklemeyen bir veri kaynağından çoğaltma yapıyorsanız manuel tam yük gerekli olacaktır.
-
Değişiklikleri uygula: Hedef tabloları, kaynak tablolarda yapılan değişikliklerle güncel tutar.
-
Değişiklikleri sakla: Kaynak tablolardaki değişiklikleri Değişiklik Tablolarında saklar (kaynak tablo başına bir tane).
Daha fazla bilgi için bk. Değişiklikleri sakla.
Veri Hareketi ağ geçidi ile çalışırken değişiklikler, kaynaktan neredeyse gerçek zamanlı olarak yakalanır. Veri Hareketi ağ geçidi olmadan çalışırken (örneğin Qlik Talend Cloud Başlangıç Kılavuzu aboneliğiyle veya Hiçbiri seçeneğini belirlerken) değişiklikler, zamanlayıcı ayarlarına göre yakalanır. Daha fazla bilgi için bk. Çoğaltma ayarları.
Değişiklikleri sakla veya Değişiklikleri uygula seçeneğini belirlerseniz ve kaynak verileriniz CDC'yi desteklemeyen tablolar ya da görünümler içeriyorsa iki veri işlem hattı oluşturulacaktır. CDC'yi destekleyen tablolar için bir işlem hattı ve sadece Tam yüklemeyi destekleyen diğer tüm tablolar ve görünümler için başka bir işlem hattı.
Yükleme yöntemi
Snowflake'e çoğaltma yaparken aşağıdaki yükleme yöntemlerinden birini seçebilirsiniz:
-
Toplu yükleme (varsayılan)
Toplu Yükleme'yi seçerseniz Veri yükleme sekmesinde yükleme parametrelerini ayarlayabileceksiniz.
-
Snowpipe Akışı
Bilgi notuSnowpipe Akışı yalnızca aşağıdaki koşullar karşılandığında seçilebilecektir:
- Değişiklikleri uygula olmadan Değişiklikleri sakla çoğaltma modu etkinleştirildiğinde.
- Snowflake bağlayıcısındaki Kimlik Doğrulama Mekanizması Anahtar Çifti olarak ayarlanmıştır.
- Veri Hareketi ağ geçidi kullanıyorsanız 2024.11.45 veya sonraki sürümü gereklidir.
Snowpipe Akışını seçerseniz bu yöntemi kullanırken sınırlamaları ve dikkat edilmesi gereken hususları bildiğinizden emin olun. Ayrıca Snowpipe Akışı'nı seçer ve ardından Değişiklikleri uygula çoğaltma modunu etkinleştirir veya Değişiklikleri sakla'yı devre dışı bırakırsanız yükleme yöntemi otomatik olarak Toplu yükleme'ye geri döndürülür.
Toplu yükleme yerine Snowpipe Akışı'nı seçmenin ana nedenleri şunlardır:
-
Daha az maliyetli: Snowpipe Akışı, Snowflake deposunu kullanmadığından, işletim maliyetleri önemli ölçüde daha ucuz olmalıdır, ancak bu sizin özel kullanım durumunuza bağlı olacaktır.
-
Daha az gecikme süresi: Veriler doğrudan hedef tablolara aktarıldığından (hazırlama yerine), veri kaynağından hedefe çoğaltma daha hızlı olmalıdır.
Hazırlama alanına bağlanma
Aşağıda listelenen veri deposuna çoğaltma yaparken bir hazırlama alanı ayarlamanız gerekir. Veriler, depoya aktarılmadan önce hazırlama alanında işlenir ve hazırlanır.
Mevcut bir hazırlama alanını seçin veya yeni bir hazırlama alanı tanımlamak için Yeni oluştur'a tıklayın ve Bulut depolamasına bağlanma bölümündeki talimatları takip edin.
Bağlantı ayarlarını düzenlemek için Düzenle'ye tıklayın. Bağlantıyı test etmek için (önerilir) Test bağlantısı'na tıklayın.
Hangi veri depolarıyla hangi hazırlama alanlarının desteklendiği hakkında bilgi almak için Hedef platform kullanım durumları ve desteklenen sürümler içindeki Hazırlama alanı olarak desteklenir sütununa bakın.
Değişiklikleri uygula modu
Değişiklikler hedef tablolara aşağıdaki yöntemlerden biri kullanılarak uygulanır:
- Toplu iş optimize edildi: Bu varsayılandır. Bu seçenek belirlendiğinde, değişiklikler toplu olarak uygulanır. İşlemleri en verimli şekilde toplu olarak gruplamak için bir ön işleme eylemi gerçekleştirilir.
- İşlemsel: Her bir işlemi işlendiği sırayla tek tek uygulamak için bu seçeneği belirleyin. Bu durumda, tüm tablolar için katı referans bütünlüğü sağlanır.
Veri yükleniyor
Bu sekme yalnızca bir veri deposu hedefine çoğaltma yaparken gösterilecektir. Ayrıca bu sekmedeki bazı ayarlar yalnızca Snowflake ile ilgilidir.
Tüm veri deposu hedefleri için geçerlidir
Maksimum dosya boyutu
Bir dosyanın kapatılmadan önce ulaşabileceği maksimum boyut. Küçük dosyalar daha hızlı yüklenir (ağa bağlı olarak) ve paralel yürütme seçeneğiyle birlikte kullanıldığında performansı iyileştirir. Ancak küçük dosyalarla veritabanını dağıtmak genellikle kötü bir uygulama olarak kabul edilir.
Yalnızca Snowflake hedefi için geçerlidir
Genel sekmesinde, verilerin Snowflake'e Toplu Yükleme veya Snowpipe Akışı kullanılarak yüklenip yüklenmeyeceğini seçebilirsiniz. Snowpipe Akışı seçildiğinde, Veri yükleme sekmesi gösterilmeyecektir. Toplu Yükleme seçildiğinde aşağıdaki ayarlar kullanılabilir olacaktır:
-
Maksimum dosya boyutu (MB): İlk Tam Yük ve CDC ile ilgilidir. Bir dosyanın hedefe yüklenmeden önce ulaşabileceği maksimum boyut. Performans sorunlarıyla karşılaşırsanız bu parametreyi ayarlamayı deneyin.
-
Bir partide yüklenecek dosya sayısı: Yalnızca ilk Tam Yük ile ilgilidir. Tek bir partide yüklenecek dosya sayısı. Performans sorunlarıyla karşılaşırsanız bu parametreyi ayarlamayı deneyin.
Toplu Yükleme ve Snowpipe Akışı yükleme yöntemlerinin açıklaması için bkz. Genel.
Meta veriler
Temel
Hedef tablo şeması
Kaynak tablo şemasını kullanmak istemiyorsanız (veya kaynak veritabanında şema yoksa) kaynak tabloların çoğaltılacağı hedef üzerindeki şema.
Bilgi notuBir Oracle hedefine çoğaltırken varsayılan hedef tablosu şeması "system" olduğunda. Ayrıca bu alanı boş bırakırsanız (bu durumda kaynak şeması kullanılacaktır) kaynak şemasının hedefte zaten mevcut olduğundan emin olmanız gerekir. Aksi takdirde görev başarısız olacaktır.Bilgi notuŞema adı için izin verilen maksimum uzunluk 128 karakterdir.
JSON sütun eşlemesi
Uyumlu kaynak JSON sütunlarını hedefteki JSON sütunlarıyla eşle
Veri kaynağınıza erişmek için Veri Hareketi ağ geçidi kullanıyorsanız, 2024.11.70 veya daha güncel bir sürüm gereklidir.
Yalnızca SaaS uygulama Önizleme bağlayıcıları ile desteklenir.
Bu seçenek belirlendiğinde, kaynaktaki JSON sütunları otomatik olarak hedefteki JSON sütunlarına eşlenecektir.
Bu seçeneğin durumu ve görünürlüğü aşağıdaki faktörlere göre belirlenir:
Yeni görevler: Bu seçenek, hem kaynak hem de hedef JSON veri türünü destekliyorsa varsayılan olarak etkinleştirilecektir.
Mevcut görevler: Bu seçenek, hem kaynak hem de hedef JSON veri türünü desteklese bile varsayılan olarak devre dışı bırakılacaktır. Bu, hedef verilerin STRING biçiminde olmasını bekleyen (eski davranış olan) dönüşümler gibi aşağı akış süreçleriyle geriye dönük uyumluluğu korumak içindir. Seçeneği devre dışı bırakabilir veya JSON formatıyla uyumlu olacak şekilde aşağı akış süreçlerini düzenleyebilir ve ardından bu seçeneği etkinleştirebilirsiniz.
Yeni ve mevcut görevler: Kaynak yalnızca JSON veri türünü destekliyorsa, bu seçenek görünmez olacaktır. Daha sonraki bir aşamada hedefe JSON desteği eklenirse, seçenek görünür hale gelecek ancak devre dışı kalacaktır. Bu, hedef verilerin DİZE biçiminde olmasını bekleyen aşağı akış süreçleri - dönüşümler gibi - ile geriye dönük uyumluluğu korumak içindir (bu, eski davranıştır).
LOB ayarları
düğmesiyle gösterilir.Kullanılabilir LOB ayarları, seçilen çoğaltma hedefine göre farklılık gösterir. Veri deposu hedefleri sınırsız LOB sütunu boyutlarını desteklemediğinden bu seçenek, bir veri deposuna çoğaltma yaparken kullanılamayacaktır.
Veri deposu olmayan hedefler için LOB ayarları
- LOB sütunlarını dahil etme: Kaynak LOB sütunlarının çoğaltılmasını istemiyorsanız bunu seçin.
LOB sütunu boyutunu şununla sınırla (KB): Bu varsayılandır. Yalnızca küçük LOB'ları çoğaltmanız gerekiyorsa veya hedef platform sınırsız LOB boyutunu desteklemiyorsa bu seçeneği belirleyin. Bu alan için izin verilen maksimum değer 102400 KB'dir (100 MB).
Küçük LOB'ları çoğaltırken, bu seçenek LOB boyutunu sınırlama seçeneğinden daha verimlidir çünkü LOB'lar kaynaktan "arama" yoluyla değil "satır içi" olarak çoğaltılır. Değişiklik İşleme sırasında, küçük LOB'lar genellikle kaynaktan "arama" yoluyla çoğaltılır.
Sınır, kaynak uç noktasından okunan LOB baytlarının sayısı için geçerlidir. BLOB sütunları için hedef BLOB boyutu tam olarak belirtilen sınıra göre olacaktır. CLOB ve NCLOB sütunları için kaynak ve hedef LOB aynı karakter kümesine sahip değilse hedef LOB boyutu, belirtilen sınırdan farklı olabilir. Bu durumda, veri görevi karakter kümesi dönüşümü gerçekleştirir ve bu da kaynak ve hedef LOB boyutları arasında bir tutarsızlığa neden olabilir.
LOB boyutunu sınırla değeri bayt cinsinden olduğundan, boyut aşağıdaki formüllere göre hesaplanmalıdır:
- BLOB: En büyük LOB'nin uzunluğu.
- NCLOB: En uzun METİN'in karakter cinsinden uzunluğu iki ile çarpılır (her karakter çift bayt olarak ele alındığından). Veri 4 baytlık karakterler içeriyorsa bunu dört ile çarpın.
- CLOB: En uzun METİN'in karakter cinsinden uzunluğu (her karakter bir UTF8 karakteri olarak ele alınır). Veri 4 baytlık karakterler içeriyorsa ikiyle çarpın.
Bilgi notu- Belirtilen boyuttan daha büyük LOB'lar kesilecektir.
- Oracle kaynağından Değişiklik İşleme sırasında, satır içi BLOB'lar satır içi olarak çoğaltılır.
- Bu ayardaki değişiklikler yalnızca yeniden yüklendikten sonra mevcut tabloları etkileyecektir.
LOB sütunu boyutunu sınırlama: Bu seçenek seçildiğinde, LOB sütunları boyutlarına bakılmaksızın çoğaltılır.
Bilgi notuLOB sütunlarının çoğaltılması performansı etkileyebilir. Bu durum özellikle kaynak LOB değerini almak üzere çoğaltma görevinin kaynak tablodan bir arama yapmasını gerektiren büyük LOB sütunları için geçerlidir.LOB boyutu şundan daha küçük olduğunda iyileştirin: Hem küçük hem de büyük LOB'ları çoğaltmanız gerektiğinde ve LOB'ların çoğu küçük olduğunda bu seçeneği belirleyin.
Bilgi notuBu seçenek yalnızca aşağıdaki kaynaklar ve hedeflerle desteklenir:
Kaynaklar: Oracle, Microsoft SQL server, MySQL, PostgreSQL ve IBM DB2 for LUW
Hedefler: Oracle, Microsoft SQL Server, MySQL, PostgreSQL.
Bu seçenek belirlendiğinde, Tam Yük sırasında küçük LOB'lar "satır içi" olarak çoğaltılır (bu daha verimlidir) ve büyük LOB'lar kaynak tablodan bir arama gerçekleştirilerek çoğaltılır. Ancak Değişiklik İşleme sırasında, hem küçük hem de büyük LOB'lar kaynak tablodan bir arama gerçekleştirilerek çoğaltılacaktır.
Bilgi notuBu seçenek seçildiğinde çoğaltma görevi, hangilerinin "satır içi" aktarılacağını belirlemek için tüm LOB boyutlarını kontrol edecektir. Belirtilen boyuttan daha büyük LOB'lar Tam LOB modu kullanılarak çoğaltılır.
Bu nedenle, LOB'ların çoğunun belirtilen ayardan daha büyük olduğunu biliyorsanız Sınırsız LOB sütununu çoğalt bunun yerine seçeneği kullanmak daha iyidir.
Yığın boyutu (KB): İsteğe bağlı olarak, verileri hedefe çoğaltırken kullanılacak LOB yığınlarının boyutunu değiştirin. Varsayılan yığın boyutu çoğu durumda yeterli olacaktır ancak performans sorunlarıyla karşılaşırsanız boyutu ayarlamak performansı artırabilir.
Bilgi notuBazı veritabanlarında, veri türü doğrulaması veri eklendiğinde veya güncellendiğinde gerçekleşir. Bu gibi durumlarda, yapılandırılmış veri türlerinin (ör. XML, JSON, COĞRAFYA vb.) çoğaltılması, veriler belirtilen yığın boyutundan büyükse başarısız olabilir.
Desteklenen veri deposu hedefleri için LOB ayarları
LOB sütunlarını dahil et ve sütun boyutunu şununla sınırla (KB):
Görevdeki LOB sütunlarını dahil etmeyi seçebilir ve maksimum LOB boyutunu ayarlayabilirsiniz. Maksimum boyuttan büyük olan LOB'lar kesilir.
Gelişmiş
Kontrol tablosu ayarları
Kontrol tabloları şeması: Kontrol tablolarının kaynak şemada (varsayılan) veya hedef şemada oluşturulmasını istemiyorsanız bu tablolar için hedef şemayı belirtin.
Bilgi notuŞema adı için izin verilen maksimum uzunluk 128 karakterdir.- Tablo alanında hedef kontrol tabloları oluşturma: Çoğaltma hedefi Oracle olduğunda, hedef kontrol tablolarının oluşturulmasını istediğiniz tablo alanını belirtin. Bu alana bilgi girmezseniz tablolar, hedef veri tabanında varsayılan tablo alanında oluşturulacaktır.
- Hedef kontrol tabloları için tablo alanında dizinler oluşturma: Çoğaltma hedefi Oracle olduğunda, kontrol tablo dizinlerinin oluşturulmasını istediğiniz tablo alanını belirtin. Bu alana bilgi girmezseniz dizinler, kontrol tabloları ile aynı tablo alanında oluşturulacaktır.
- Çoğaltma geçmişi zaman aralığı (dakika): Çoğaltma geçmişi kontrol tablosundaki her bir zaman aralığının uzunluğu. Varsayılan değer 5 dakikadır.
Kontrol tablosu seçimi
Hedef platformda oluşturulmasını istediğiniz kontrol tablolarını seçin:
| Mantıksal ad | Hedefteki ad |
|---|---|
| İstisnaları uygula | attrep_apply_exceptions |
| Çoğaltma durumu | attrep_status |
| Askıya alınmış tablolar | attrep_suspended_tables |
| Çoğaltma geçmişi | attrep_history |
| DDL geçmişi | attrep_ddl_history DDL Geçmiş tablosu sadece aşağıdaki hedef platformlarla desteklenmektedir: Bilgi notuAmazon Redshift , Amazon S3, Google Cloud Storage ve Snowflake için Veri Hareketi ağ geçidi 2024.11.14 veya sonraki sürümü gerekir.
|
Kontrol tabloları hakkında daha fazla bilgi için bkz. Kontrol tabloları.
Tam yük
düğmesiyle gösterilir.Temel
Bu ayarlar veri görevi hazırlama aşamasında uygulanır.
Hedef tablo zaten mevcutsa: Verilerin hedef tablolara nasıl yükleneceğini belirlemek için aşağıdakilerden birini seçin:
Hedef tabloları bırakma veya kesme seçeneği yalnızca bu tür işlemler kaynak uç noktası tarafından destekleniyorsa geçerlidir.
Tabloyu bırak ve oluştur: Hedef tablo bırakılır ve yerine yeni bir tablo oluşturulur.
Bilgi notuÇoğaltma görevi Kontrol Tabloları bırakılmayacaktır. Ancak bırakılan askıya alınmış tablolar, ilişkili görev yeniden yüklendiğinde attrep_suspended_tables Kontrol Tablosundan da silinecektir.
Yüklemeden önce KES: Veriler, hedef tablo meta verilerini etkilemeden kesilir. Bu seçenek seçildiğinde, Tam yükleme tamamlandıktan sonra birincil anahtar veya benzersiz dizin oluştur seçeneğinin etkinleştirilmesinin hiçbir etkisi olmayacağını unutmayın.
Bilgi notuHedef platform Microsoft Fabric olduğunda desteklenmez.- Yoksay: Hedef tablonun mevcut verileri ve meta verileri etkilenmeyecektir. Tabloya yeni veriler eklenecektir.
Gelişmiş
Performans ayarı
Veri çoğaltma aşırı yavaşsa aşağıdaki parametreleri ayarlamak, performansı iyileştirebilir.
- Maksimum tablo sayısı: Hedefe tek seferde yüklenecek maksimum tablo sayısını girin. Varsayılan değer 5'tir.
İşlem tutarlılığı zaman aşımı (saniye): Tam Yük işlemine başlamadan önce açık işlemleri kapatmak için çoğaltma görevi tarafından beklenecek saniye sayısını girin. Varsayılan değer 600'dür (10 dakika). Çoğaltma görevi, açık işlemler olsa bile zaman aşımı değerine ulaşıldıktan sonra tam yüklemeye başlayacaktır.
Bilgi notuTam Yük başladığında açık olan ancak zaman aşımı değerine ulaşıldıktan sonra işlenen işlemleri çoğaltmak için hedef tabloları yeniden yüklemeniz gerekir.- Tam yük sırasında bağlılık oranı: Birlikte aktarılabilecek maksimum olay sayısı. Varsayılan değer 10000'dir.
Tam yük tamamlandıktan sonra
Tam Yükleme tamamlandıktan sonra görevi otomatik olarak duracak şekilde ayarlayabilirsiniz. Bu, görevin Değişiklikleri Uygula (yani CDC) aşaması başlamadan önce hedef tablolar üzerinde DBA işlemleri gerçekleştirmeniz gerekiyorsa kullanışlıdır.
Tam Yükleme sırasında, kaynak tablolarda yürütülen tüm DML işlemleri önbelleğe alınır. Tam Yükleme tamamlandığında, önbelleğe alınan değişiklikler otomatik olarak hedef tablolara uygulanır (aşağıda açıklanan Önbelleğe alınan değişiklikler uygulanmadan önce/sonra seçenekleri devre dışı bırakıldığı sürece).
- Birincil anahtar veya benzersiz dizin oluşturun: Hedef üzerinde birincil anahtar veya benzersiz dizin oluşturmayı tam yükleme tamamlanıncaya kadar ertelemek istiyorsanız bu seçeneği belirleyin.
- Görevi durdur: Bilgi notu
Bu ayarlar şu durumlarda kullanılmaz:
- SaaS uygulama kaynaklarından çoğaltma yapılırken (önbelleğe alınmış olaylar olmadığında)
- Veri deposu hedeflerine çoğaltma yaparken
Önbelleğe alınan değişiklikler uygulanmadan önce: Tam Yükleme tamamlandıktan sonra görevi durdurmak için seçin.
Önbelleğe alınan değişiklikler uygulandıktan sonra: Görevdeki tüm tablolarda veriler tutarlı olur olmaz görevi durdurmak için seçin.
Bilgi notuGörevi Tam Yük tamamlandıktan sonra durdurulacak şekilde yapılandırırken aşağıdakilere dikkat edin:
- Tam Yük tamamlandığı anda görev durmaz. Yalnızca ilk değişiklik grubu yakalandıktan sonra durdurulacaktır (çünkü görevi durdurmak için tetikleyen şey budur). Bu, kaynak veritabanının ne sıklıkta güncellendiğine bağlı olarak biraz zaman alabilir. Görev durduktan sonra, görev yeniden başlatılana kadar değişiklikler hedefe uygulanmayacaktır.
- Önbelleğe alınan değişiklikler uygulanmadan önce seçimi, önbelleğe alınan değişiklikler yalnızca son tablo Tam Yüklemeyi tamamladıktan sonra tablolara (zaten Tam Yüklemeyi tamamlamış olanlar dahil) uygulanacağından performansı etkileyebilir.
- Bu seçenek seçildiğinde ve Tam Yükleme işlemi sırasında kaynak tablolardan birinde bir DDL yürütüldüğünde (Tam Yükle ve Değişiklikleri Uygula görevinde), çoğaltma görevi tabloyu yeniden yükleyecektir. Bu, kaynak tablolarda yürütülen tüm DML işlemlerinin görev durmadan önce hedefe çoğaltılacağı anlamına gelir.
İlk yük için
SaaS uygulama kaynaklarından veri taşırken ilk tam yüklemenin nasıl gerçekleştirileceğini ayarlayabilirsiniz:
| Önbelleğe alınmış verileri kullanma | Bu seçenek, Tam veri taraması seçiliyken meta veri oluşturulduğunda okunan önbelleğe alınmış verileri kullanmanızı sağlar. Bu, veriler zaten kaynaktan okunduğu için API kullanımı ve kotalarla ilgili daha az ek yük oluşturur. İlk veri taramasından bu yana meydana gelen tüm değişiklikler Değişiklik verisi yakalama (CDC) ile alınabilir. |
| Kaynaktan veri yükleme | Bu seçenek veri kaynağından yeni bir yükleme gerçekleştirir. Bu seçenek şu durumlarda yararlıdır:
|
Değişiklikleri uygula
Bu ayarlar yalnızca Değişiklikleri uygula çoğaltma modu etkinleştirildiğinde kullanılabilir.
Temel
DDL değişikliklerini hedef tabloya uygula
Aşağıdaki seçenekler, ilgili kaynak tablo üzerinde gerçekleştirilen DDL işlemlerinin hedef tablo üzerinde de gerçekleştirilip gerçekleştirilmeyeceğini belirler.
- Tabloyu bırak: Kaynak tablo bırakıldığında hedef tabloyu bırakmak için seçin.
Tabloyu kes: Kaynak tablo kesildiğinde hedef tabloyu kesmek için seçin.
Bilgi notuHedef platform Microsoft Fabric olduğunda desteklenmez.- Tabloyu değiştir: Kaynak tablo değiştirildiğinde hedef tabloyu değiştirmek için seçin.
İşleme ayarını değiştir
Birden fazla tabloya aynı anda toplu değişiklikler uygula: Bu seçeneğin seçilmesi, birden fazla kaynak tablodan değişiklik uygularken performansı artırabilir.
Bilgi notuBu seçenek sadece şu durumlarda desteklenir:
- Değişiklikleri uygula modu Toplu iyileştirme olarak ayarlandığında. Daha fazla bilgi için şuraya bakın: Çoğaltma ayarları.
- Çoğaltma görevleri MySQL, PostgreSQL, Oracle ve Google BigQuery değildir.
Maksimum tablo sayısı: Toplu değişikliklerin eşzamanlı olarak uygulanacağı maksimum tablo sayısı. Varsayılan değer beş, maksimum değer 50 ve minimum değer ikidir.
Toplu değişiklikleri aynı anda birden fazla tabloya uygula seçeneği etkinleştirildiğinde, aşağıdaki sınırlamalar geçerlidir:
Görev hata işleme ilkesi varsayılanları Ortam ve Tablo hataları için değişmeyecektir ancak Veri hataları ve Çakışmaları Uygula hataları için varsayılanlar aşağıdaki gibi olacaktır:
- Veri hataları:
- Veri kesme hataları: Kaydı istisnalar tablosuna kaydetme
- Diğer veri hataları: Tabloyu askıya al
- Uygulama Çakışması hataları:
- Siler: Kaydı yoksay
Eklenenler: Mevcut hedef kaydını güncelleyin
Bilgi notuBu bir Snowflake hedefi için geçerli değildir (Snowflake, Birincil Anahtarları desteklemediğinden).- Güncellemeler: Kaydı yoksay
- Hızlandırma eylemi:
- Hem Veri hataları hem de Uygulama Çakışmaları için Eskalasyon eylemi desteklenmez.
- attrep_apply_exception Kontrol Tablosu desteklenmemektedir.
- Veri hataları için:
- Özel durumlar tablosuna günlük kaydı seçeneği yalnızca veri kesme hataları için kullanılabilir.
- Yoksay seçeneği yoktur.
- Uygulama Çakışmaları için:
- Kaydı istisnalar tablosuna günlüğe kaydet seçeneği kullanılamaz.
- Yoksay seçeneği yalnızca UPDATE uygula çakışmasını uygulamak için Kayıt bulunamadı için kullanılabilir.
- Veri hataları:
Ayrıca bk. Hata işleme.
Değişiklik işleme ifadesi başına uygulanan değişiklik sayısını şununla sınırla: Tek bir değişiklik işleme ifadesine uygulanan değişiklik sayısını sınırlamak için bu onay kutusunu seçin ve ardından isteğe bağlı olarak varsayılan değeri değiştirin. Varsayılan değer 10,000'dir.
Bilgi notuBu seçenek yalnızca şu hedeflerle desteklenir: MySQL, PostgreSQL, Oracle ve Google BigQuery.
Gelişmiş
Değişiklikleri sakla
Bu ayarlar yalnızca Değişiklikleri sakla çoğaltma modu etkinleştirildiğinde kullanılabilir.
Temel
DDL seçenekleri
Kaynak tablolarda DDL işlemlerinin nasıl işleneceğini belirlemek için aşağıdaki seçeneklerden birini seçin:
- Değişiklik tablosuna uygula: Kaynak tablolara yapılan DDL işlemleri (eklenen bir sütun gibi) yalnızca ilgili Değişiklik Tablolarına uygulanır.
- Yoksay: Kaynak tablolara yapılan tüm DDL işlemleri yoksayılır.
Gelişmiş
Güncelleme üzerine
Hem GÜNCELLE öncesi verileri hem de GÜNCELLE sonrası verileri saklamak için Önce ve sonra resmini sakla öğesini seçin. Seçilmediğinde, yalnızca GÜNCELLEME sonrası veriler saklanacaktır.
Tablo oluşturmayı değiştir
Aşağıdaki bölümde, değişiklikleri Değişiklik Tabloları'nda saklarken kullanılabilecek seçenekler açıklanır.
- Son ek: Tüm Değişiklik Tabloları için son ek olarak kullanılacak bir dize belirtin. Varsayılan değer: __ct. Değişiklik Tablosu adları, hedef tablonun adına son ek eklenmiş halidir. Bu nedenle örneğin, varsayılan değeri kullanırken Değişiklik Tablosunun adı HR__ct olacaktır.
- Üst bilgi sütun ön eki: Tüm Değişiklik Tablosu üst bilgi sütunları için son ek olarak kullanılacak bir dize belirtin. Varsayılan değer: header__. Örneğin, varsayılan değeri kullanırken stream_position üst bilgi sütunu, header__stream_position adını alacaktır.
Değişiklik Tabloları hakkında daha fazla bilgi için bkz. Değişim Tablolarını Kullanma.
Tam yük başladığında değişiklik tablosu mevcutsa: Tam Yük replikasyonu başladığında Değişiklik Tablolarının nasıl yükleneceğini belirlemek için aşağıdakilerden birini seçin:
- Bırak ve değişiklik tablosu oluştur: Tablo bırakılır ve yerine yeni bir tablo oluşturulur.
Eski değişiklikleri sil ve değişiklikleri mevcut değişiklik tablosuna kaydet: Veriler kesilir ve tablo meta verilerini etkilemeden eklenir.
Bilgi notuHedef platform Microsoft Fabric olduğunda desteklenmez.- Eski değişiklikleri sakla ve yeni değişiklikleri mevcut değişiklik tablosuna kaydet: Mevcut Değişiklik tablosunun verileri ve meta verileri etkilenmez.
Tablo başlığı sütunları
Değişiklik Tablosu başlık sütunları, işlem türü (örneğin EKLE), işleme zamanı ve benzeri gibi Değişiklik İşleme işlemleri hakkında bilgi sağlar. Tüm bu bilgilere ihtiyacınız yoksa moving görevini, Değişiklik Tablolarını seçili başlık sütunlarıyla (veya hiç sütun olmadan) oluşturacak ve böylece hedef veritabanındaki ayak izlerini azaltacak şekilde yapılandırabilirsiniz.
Başlık sütunlarının açıklaması için bk. Değişiklik Tabloları.
Hata işleme
Temel
Çakışmaları uygula
EKLEME uygularken anahtarı çoğaltma: Bir EKLE işlemi ile çakışma olduğunda hangi eylemin gerçekleştirileceğini seçin.
Yoksay: Görev devam eder ve hata yoksayılır.
Mevcut hedef kaydını GÜNCELLE: EKLENEN kaynak kayıtla aynı birincil anahtara sahip hedef kayıt güncellenir.
- Kaydı istisnalar tablosuna kaydet (varsayılan): Görev devam eder ve hata istisnalar tablosuna yazılır.
Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz.
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
GÜNCELLEME uygulamak için kayıt bulunamadı: Bir GÜNCELLE işlemi ile çakışma olduğunda hangi eylemin gerçekleştirileceğini seçin.
- Yoksay: Görev devam eder ve hata yoksayılır.
Eksik hedef kaydını EKLE: Eksik hedef kaydı hedef tabloya eklenecektir. Kaynak uç noktası Oracle olduğunda, bu seçeneğin belirlenmesi tüm kaynak tablo sütunları için ek günlük kaydının etkinleştirilmesini gerektirir.
- Kaydı istisnalar tablosuna kaydet (varsayılan): Görev devam eder ve hata istisnalar tablosuna yazılır.
Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz.
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Gelişmiş
Veri hatası işleme yalnızca Değişiklikleri Uygula çoğaltma modunda desteklenir (Tam Yük değil).
Veri hataları
Veri kesme hataları için: Bir veya daha fazla belirli kayıtta kesilme meydana geldiğinde ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:
- Yoksay: Görev devam eder ve hata yoksayılır.
- İstisnalar tablosuna günlük kaydı (varsayılan): Görev devam eder ve hata istisnalar tablosuna yazılır.
- Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Diğer veri hataları için: Bir veya daha fazla belirli kayıtta hata oluştuğunda ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:
- Yoksay: Görev devam eder ve hata yoksayılır.
- İstisnalar tablosuna günlük kaydı (varsayılan): Görev devam eder ve hata istisnalar tablosuna yazılır.
- Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Diğer veri hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Kesilmeyen veri hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.
Hızlandırma eylemi: Hata işleme yükseltildiğinde ne olması gerektiğini seçin. Kullanılabilir eylemlerin yukarıda açıklanan Diğer veri hataları için açılır listesinden seçilen eyleme bağlı olduğunu unutmayın.
Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri için moved işlemi yapılmaz.
Bilgi notuDavranış, Değişiklik İşleme Moduna göre farklılık gösterir:
İşlemsel uygulama modunda, son değişiklikler için moved işlemi yapılmayacaktır.
Toplu iyileştirme uygulama modunda veriler için moved işleminin hiç yapılmayacağı veya sadece kısmi moved işlemi yapılacağı bir durum olabilir.
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
- Kaydı istisnalar tablosuna kaydet: Görev devam eder ve kayıt istisnalar tablosuna yazılır.
Tablo hataları
Tablo hatası döndürmeden önceki yeniden deneme sayısı
Bu seçenek, tablo hata işleme ilkesinin ne zaman tetikleneceğini kontrol etmenizi sağlar. Varsayılan olarak, bir tablo hatasıyla karşılaşıldıktan sonra, üç yeniden denemeden sonra tablo askıya alınacak veya görev durdurulacaktır (seçilen eyleme göre). Bazen, SaaS uygulamasının planlı bakımı nedeniyle bir tablo hatası oluşur. Bu durumlarda, tablo hata işleme ilkesi tetiklenmeden önce bakımın tamamlanması için varsayılan yeniden deneme sayısı yeterli olmayabilir. Bu aynı zamanda görevin zamanlama aralığına da bağlıdır, çünkü görev her çalıştığında bir yeniden deneme gerçekleştirilecektir. Yani, örneğin, bir görevi her saat çalışacak şekilde zamanlarsanız ve görev çalışmaya başlar başlamaz SaaS uygulaması bakım için çevrimdışı duruma alınırsa, varsayılan üç yeniden deneme, tablo hata işleme ilkesi tetiklenmeden SaaS uygulamasının üç saate kadar çevrimdışı kalmasına izin verecektir. Daha uzun bir bakım penceresi, tablo hata işleme ilkesinin tetiklenmesini önlemek için yeniden deneme sayısını artırmanızı (veya zamanlamayı değiştirmenizi) gerektirir.
Özetle, SaaS uygulamanızın periyodik bakımdan geçtiğini biliyorsanız, en iyi uygulama, bakımın tablo hata işleme ilkesi tetiklenmeden tamamlanabilmesi için yeniden deneme sayısını zamanlamaya göre artırmaktır.
Bu seçenek, yalnızca Lite veya Standard SaaS uygulama bağlayıcısı ile yapılandırılmış görevler için gösterilecektir.
Veri Hareketi ağ geçidi kullanıyorsanız 2024.11.70 veya sonraki sürümü gereklidir.
Tablo hatasıyla karşılaşıldığında: Açılır listeden aşağıdakilerden birini seçin:
- Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Tablo hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Tablo hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.
Eskalasyon eylemi: Tablo hataları için eskalasyon politikası Görevi durdur olarak ayarlanmıştır ve değiştirilemez.
Çakışmaları uygula
SİL işlemini uygulamak için kayıt bulunamadı: Bir SİL işlemi ile çakışma olduğunda hangi eylemin gerçekleştirileceğini seçin.
- Yoksay: Görev devam eder ve hata yoksayılır.
- Kaydı istisnalar tablosuna kaydet: Görev devam eder ve kayıt istisnalar tablosuna yazılır.
- Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz.
- Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Uygulama çakışmaları ulaştığında hata işlemeyi yükseltin (tablo başına): Uygulama çakışmalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.
Yükseltme eylemi: Hata işleme yükseltildiğinde ne olması gerektiğini seçin:
- Kaydı istisnalar tablosuna kaydet (varsayılan): Görev devam eder ve hata istisnalar tablosuna yazılır.
Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz.
Bilgi notuDavranış, Değişiklik İşleme Moduna göre farklılık gösterir:
İşlemsel uygulama modunda, son değişiklikler çoğaltılmayacaktır
Toplu iyileştirilmiş uygulama modunda, veri çoğaltmanın olmayacağı veya veri çoğaltmanın kısmi olacağı bir durum mümkündür.
Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
Ortam hataları
Maksimum yeniden deneme sayısı: Bu seçeneği seçin ve ardından kurtarılabilir bir çevresel hata oluştuğunda bir görevi yeniden denemek için maksimum deneme sayısını belirtin. Görev belirtilen sayıda tekrar denedikten sonra görev durdurulur ve manuel müdahale gerekir.
Bir görevi asla yeniden denememek için onay kutusunun işaretini kaldırın veya "0" olarak belirtin.
Bir görevi sonsuz sayıda yeniden denemek için "-1" belirtin
Yeniden deneme girişimleri arasındaki aralık (saniye): Sistemin bir görevi yeniden deneme denemeleri arasında bekleyeceği saniye sayısını seçmek veya yazmak için sayacı kullanın.
Geçerli değerler 0-2.000 arasındadır.
- Uzun kesintiler için yeniden deneme aralığını artır: Uzun kesintilerde yeniden deneme aralığını artırmak için bu onay kutusunu seçin. Bu seçenek etkinleştirildiğinde, Maksimum yeniden deneme aralığına ulaşılana kadar (ve belirtilen maksimum aralığa göre yeniden denemeye devam eder) her bir yeniden deneme denemesi arasındaki aralığı iki katına çıkarır.
- Maksimum yeniden deneme aralığı (saniye): Uzun kesintiler için yeniden deneme aralığını artır seçeneği etkinleştirildiğinde, bir görevi yeniden deneme denemeleri arasında beklenecek saniye sayısını seçmek veya yazmak için sayacı kullanın. Geçerli değerler 0-2.000 arasındadır.
İşleme ayarını değiştir
İşlem aktarım ayarı
Devam eden işlemi şu durumda diske aktar:
Çoğaltma görevi genellikle işlem verilerini kaynak ve/veya hedefe tamamen işlenene kadar bellekte tutar. Ancak tahsis edilen bellekten daha büyük olan veya belirtilen zaman sınırı içinde işlenmeyen işlemler diske boşaltılır.
- İşlem belleği boyutu (MB) değerini aşıyor: Tüm işlemlerin diske boşaltılmadan önce bellekte kaplayabileceği maksimum boyut. Varsayılan değer 1024'tür.
- İşlemlerin süresi (saniye) değerini aşıyor: Her bir işlemin diske boşaltılmadan önce bellekte kalabileceği maksimum süre. Süre, çoğaltma görevinin işlemi yakalamaya başladığı andan itibaren hesaplanır. Varsayılan değer 60'tır.
Toplu ayarlama
Bu sekmedeki ayarlar Değişiklikleri uygula modu tarafından belirlenir.
Yalnızca "Uygulama modu" "Toplu iyileştirme" olarak ayarlandığında kullanılabilir olan ayar.
- Toplu değişiklikleri aralıklarla uygula:
En az: Toplu değişikliklerin her bir uygulaması arasında beklenecek minimum süre. Varsayılan değer 1'dir.
Daha uzun değerinin artırılması, yığınların boyutunu artırırken değişikliklerin hedefe uygulanma sıklığını azaltır. Bu, büyük partileri işlemek için optimize edilmiş hedef veritabanlarına değişiklik uygularken performansı artırabilir.
- Less fazla: Toplu değişikliklerin her bir uygulaması arasında beklenecek maksimum süre (zaman aşımı bildirilmeden önce). Başka bir deyişle, kabul edilebilir maksimum gecikme süresi. Varsayılan değer 30'dur. Bu değer, Şundan daha uzun değerine ulaşıldıktan sonra değişiklikleri uygulamadan önce beklenecek maksimum süreyi belirler.
İşlem belleği (MB) değerini aştığında bir yığın uygulamaya zorla: Toplu iyileştirme uygulama modunda ön işleme için kullanılacak maksimum bellek miktarı. Varsayılan değer 500'dür.
Maksimum parti boyutu için bu değeri çoğaltma görevine ayırabileceğiniz en yüksek bellek miktarına ayarlayın. Bu, büyük partileri işlemek için optimize edilmiş hedef veritabanlarına değişiklik uygularken performansı artırabilir.
Yalnızca "Uygulama modu" "İşlem" olarak ayarlandığında kullanılabilir olan ayar.
Aşağıdaki ayarlar yalnızca "İşlem" uygulama modunda çalışırken kullanılabilir. Snowflake'e çoğaltma yaparken "İşlem" modunun mevcut tek uygulama modu olduğunu (ve bu nedenle seçilemediğini) ve Yükleme yöntemi'nin Snowpipe Akışı olduğunu unutmayın.
İşlem başına minimum değişiklik sayısı: Her bir işleme dahil edilecek minimum değişiklik sayısı. Varsayılan değer 1000'dir.
Bilgi notuDeğişiklikler, değişiklik sayısı İşlem başına minimum değişiklik sayısı değerine eşit veya daha büyük olduğunda YA DA aşağıda açıklanan Uygulamadan önce toplu işlemler için maksimum süre (saniye) değerine erişildiğinde (hangisi önce olursa) hedefe uygulanır. Hedefe uygulanan değişikliklerin sıklığı bu iki parametre tarafından kontrol edildiğinden, kaynak kayıtlarda yapılan değişiklikler hedef kayıtlara hemen yansıtılmayabilir.
- Uygulamadan önce toplu işlemler için maksimum süre (saniye): Bir zaman aşımı bildirmeden önce işlemlerin toplu olarak toplanması için maksimum süre. Varsayılan değer 1'dir.
Aralık
SAP ODP ve SaaS uygulama (Lite) bağlayıcıları kullanılırken ayarlar
Her (dakikada) bir değişikleri oku
Kaynaktan okuma değişiklikleri arasındaki dakika cinsinden aralık. Geçerli aralık 1 ila 1440'tır.
Bilgi notuBu seçenek yalnızca veri görevi şununla tanımlandığında mevcuttur:
- Veri Hareketi ağ geçidi
- Aşağıdaki kaynaklardan herhangi biri:
- Yalnızca Lite bağlayıcıları aracılığıyla SaaS uygulaması
- SAP ODP
- Değişiklikleri uygula veya Değişiklikleri kaydet güncelleme yöntemi
SAP OData bağlayıcısı kullanılırken ayarlar
Değişiklik olup olmadığını kontrol et
Delta ayıklama aralığına göre: Bu seçenek belirlendiğinde veri görevi Delta çıkarma aralığına göre değişiklikleri kontrol eder.
Bilgi notuAralık, her "turdan" sonra başlayacaktır. Bir tur, veri görevinin kaynak tablolardan değişiklikleri okuması ve bunları hedefe (tek bir işlem olarak) göndermesi için geçen süre olarak tanımlanabilir. Bir turun uzunluğu, tablo ve değişiklik sayısına göre değişir. Yani 10 dakikalık bir aralık belirtirseniz ve bir tur 4 dakika sürerse değişiklikleri kontrol etme arasındaki gerçek süre 14 dakika olacaktır.Delta ayıklama aralığı Sisteminizden deltaların çıkarılma sıklığı. Varsayılan 60 saniyede birdir.
Zamanlandığı gibi: Bu seçenek belirlendiğinde, veri görevi deltayı bir kez çıkarır ve ardından durur. Daha sonra zamanlandığı gibi çalışmaya devam edecektir.
Bilgi notuBu seçenek yalnızca CDC döngüleri arasındaki aralık 24 saat veya daha fazla ise geçerlidir.Zamanlama hakkında bilgi için:
Bir çoğaltma projesindeki "Çoğaltma veri görevleri" için bkz. Görevleri zamanlama
Çeşitli ayarlar
İfadeler önbellek boyutu (ifade sayısı)
Daha sonra yürütülmek üzere sunucuda depolanacak maksimum hazır ifade sayısı (değişiklikleri hedefe uygularken). Varsayılan değer 50'dir. Maksimum değer 200'dür.
Görev kurtarma verilerini hedef veritabanında saklayın
Göreve özgü kurtarma bilgilerini hedef veritabanında saklamak için bu seçeneği belirleyin. Bu seçenek belirlendiğinde, çoğaltma görevi hedef veritabanında attrep_txn_state adında bir tablo oluşturur. Bu tablo, Veri Hareketi ağ geçidiVeri klasöründeki dosyaların bozulması veya Veri klasörünü içeren depolama cihazının arızalanması durumunda bir görevi kurtarmak için kullanılabilecek işlem verilerini içerir.
SQL BİRLEŞTİR işlemini kullanarak değişiklikleri uygula
Bu seçenek seçilmediğinde çoğaltma görevi, Net Değişiklikler tablosundaki farklı değişiklik türlerinin her biri için toplu olarak ayrı INSERT, UPDATE ve DELETE ifadeleri yürütecektir.
Bu yöntem son derece verimli olsa da Değişiklikleri SQL MERGE kullanarak uygula seçeneğini etkinleştirmek, bu seçeneği destekleyen uç noktalarla çalışırken daha da verimlidir.
Bunun nedeni aşağıdakilerdir:
- Bu, tablo başına çalıştırılan SQL ifadelerinin sayısını üçten bire düşürür. Büyük, sabit, dosya tabanlı bulut veritabanlarındaki (Google Cloud BigQuery gibi ) çoğu UPDATE işlemi, etkilenen dosyaların yeniden yazılmasını içerir. Bu tür işlemler ile tablo başına SQL ifadelerinin sayısını üçten bire indirmek çok önemlidir.
- Hedef veritabanın Net Değişiklikler tablosunu yalnızca bir kez taraması gerekir, bu sayede G/Ç'yi önemli ölçüde azaltır.
Eklemeleri optimize et
Değişiklikleri SQL MERGE kullanarak uygula, Eklemeleri optimize et seçeneğiyle birlikte seçildiğinde ve değişiklikler yalnızca INSERT'leri içerdiğinde çoğaltma görevi, SQL MERGE kullanmak yerine INSERT'leri gerçekleştirecektir. Bunun, genellikle performansı artırarak maliyetleri azaltacak olsa da hedef veri tabanında yinelenen kayıtlarla sonuçlanabileceğini unutmayın.
- Değişiklikleri SQL MERGE kullanarak uygula ve Eklemeleri optimize et seçenekleri yalnızca aşağıdaki hedef uç noktalarla yapılandırılmış görevler için kullanılabilir:
- Google Cloud BigQuery
- Databricks
- Snowflake
- Değişiklikleri SQL MERGE kullanarak uygula ve Eklemeleri optimize et seçenekleri aşağıdaki kaynak uç noktalarıyla desteklenmez:
- Salesforce
- Oracle
Değişiklikleri SQL MERGE kullanarak uygula seçeneği etkinleştirildiğinde:
- Ölümcül olmayan veri hataları veya düzeltilemeyen veri hataları tablo hataları olarak ele alınacaktır.
- Çakışmaları Uygula hata işleme politikası aşağıdaki ayarlarla düzenlenemez olacaktır.
- SİL işlemini uygulamak için kayıt bulunamadı: Kaydı yoksay
EKLEME uygularken anahtarı çoğaltma: Mevcut hedef kaydını güncelleyin
Bilgi notuEklemeleri optimize et seçeneği de seçildiyse INSERT uygularken anahtarı çoğaltma seçeneği, Hedefte çoğaltmalara izin ver olarak ayarlanacaktır.- GÜNCELLEME uygulamak için kayıt bulunamadı: Eksik hedef kaydını EKLEYİN
- Hızlandırma eylemi: Kaydı istisna tablosuna kaydetme
- Aşağıdaki Diğer veri hataları için Veri hatası işleme politikası seçenekleri kullanılamayacaktır:
- Kaydı yoksay
- Kaydı istisnalar tablosuna kaydetme
- Gerçek SQL MERGE işlemi yalnızca son hedef tablolarda gerçekleştirilecektir. INSERT işlemleri ara Değişiklik tablolarına uygulanacaktır (Değişiklikleri uygula veya Değişiklikleri kaydet çoğaltma modları etkinleştirildiğinde).
İşlemsel uygulama
Uygulama modu her zaman Toplu iyileştirme olduğundan, veri deposu hedeflerine çoğaltma yaparken veya Veri Hareketi ağ geçidi olmadan çalışırken bu seçenekler alakalı olmaz. Bunun bir istisnası vardır.
Bunun istisnası, Snowflake'e çoğaltma yapılırken Yükleme yönteminin Snowpipe akışı'na ayarlanmasıdır.
Aşağıdaki ayarlar yalnızca işlem uygulama modunda çalışırken kullanılabilir. Veritabanlarına çoğaltma yaparken, Uygulama modu Toplu iyileştirme veya İşlem olarak ayarlanabilir. Ancak Snowflake hedefine çoğaltma yapılırken ve Yükleme yöntemi Snowpipe akışı olarak ayarlanırken, uygulama modu her zaman işlemdir ve bu nedenle ayarlanamaz.
İşlem başına minimum değişiklik sayısı: Her bir işleme dahil edilecek minimum değişiklik sayısı. Varsayılan değer 1000'dir.
Bilgi notuÇoğaltma görevi, değişiklik sayısı İşlem başına Minimum değişiklik sayısı değerine eşit ya da daha büyük olduğunda VEYA toplu iş zaman aşımı değerine ulaşıldığında (aşağıya bakın) (hangisi önce gerçekleşirse) değişiklikleri hedefe uygular. Hedefe uygulanan değişikliklerin sıklığı bu iki parametre tarafından kontrol edildiğinden, kaynak kayıtlarda yapılan değişiklikler hedef kayıtlara hemen yansıtılmayabilir.- Uygulamadan önce toplu işlemler için maksimum süre (saniye): Bir zaman aşımı bildirmeden önce işlemlerin toplu olarak toplanması için maksimum süre. Varsayılan değer 1'dir.
Şema değişimi
Şemada aşağıdaki DDL değişiklik türlerinin nasıl işleneceğini seçin. Şema değişimi ayarlarını değiştirdiğinizde görevi tekrar hazırlamanız gerekir. Aşağıdaki tabloda desteklenen DDL değişiklikleri için hangi eylemlerin mevcut olduğu açıklanmaktadır.
düğmesiyle gösterilir.| DDL değişikliği | Hedefe uygula | Yoksay | Tabloyu askıya al | Görevi durdurun |
|---|---|---|---|---|
| Sütun ekle | Evet | Evet | Evet | Evet |
| Sütun veri türünü değiştir | Evet | Evet | Evet | Evet |
| Sütunu yeniden adlandır | Evet | Hayır | Evet | Evet |
| Tabloyu yeniden adlandır | Hayır | Hayır | Evet | Evet |
| Sütunu bırak | Evet | Evet | Evet | Evet |
| Tabloyu bırak | Evet | Evet | Evet | Evet |
| Tablo oluştur Bir desenle eşleşen veri kümeleri eklemek için bir Seçim kuralı kullandıysanız desene uyan yeni tablolar algılanacak ve eklenecektir. | Evet | Evet | Hayır | Hayır |
Karakter yerine koyma
Hedef veritabanındaki kaynak karakterleri değiştirebilir ya da silebilirsiniz ve/veya seçilen bir karakter kümesi tarafından desteklenmeyen kaynak karakterleri değiştirebilir ya da silebilirsiniz.
Tüm karakterler Unicode kod noktaları olarak belirtilmelidir.
- Karakter değiştirme işlemi Kontrol tabloları üzerinde de gerçekleştirilecektir.
Geçersiz değerler, tablo hücresinin sağ üst köşesinde kırmızı bir üçgenle gösterilir. Fare imlecinizi üçgenin üzerine getirdiğinizde hata mesajı görüntülenecektir.
Görev için tanımlanan tablo düzeyinde veya genel dönüşümler, karakter ikamesi tamamlandıktan sonra gerçekleştirilecektir.
Kaynak Karakterleri Değiştir veya Sil tablosunda tanımlanan ikame eylemleri, Seçili Karakter Kümesi Tarafından Desteklenmeyen Kaynak Karakterleri Değiştir veya Sil tablosunda tanımlanan ikame eyleminden önce gerçekleştirilir.
- Karakter ikamesi LOB veri türlerini desteklemez.
Kaynak karakterleri değiştirme veya silme
Belirli kaynak karakterlerin yerine geçecekleri tanımlamak için Kaynak karakterleri değiştir veya sil tablosunu kullanın. Bu, örneğin bir karakterin Unicode gösteriminin kaynak ve hedef platformlarda farklı olduğu durumlarda yararlı olabilir. Örneğin, Linux'ta Shift_JIS karakter kümesindeki eksi karakteri U+2212 olarak gösterilir ancak Windows'da U+FF0D olarak gösterilir.
| Bitiş | Şunu Yapın |
|---|---|
İkame eylemlerini tanımlayın. |
|
Belirtilen kaynak veya hedef karakteri düzenleme | Satırın sonundaki |
Tablodan girişleri silme | Satırın sonundaki |
Seçili karakter seti tarafından desteklenmeyen kaynak karakterleri değiştirme veya silme
Seçilen karakter kümesi tarafından desteklenmeyen tüm karakterler için tek bir yedek karakter tanımlamak üzere Karakter kümesine göre desteklenmeyen kaynak karakterler tablosunu kullanın.
| Bitiş | Şunu Yapın |
|---|---|
Bir ikame eylemi tanımlayın veya düzenleyin. |
|
Değiştirme eylemini devre dışı bırakın. | Karakter Kümesi açılır listesinden boş girişi seçin. |
Diğer seçenekler
Bu seçenekler yalnızca belirli sürümler veya ortamlarla ilgili olduklarından kullanıcı arayüzünde gösterilmez. Sonuç olarak, Qlik Desteği veya ürün belgelerinde bunu yapmanız açıkça istenmedikçe bu seçenekleri belirlemeyin.
Bir seçeneği ayarlamak için seçeneği Özellik adı ekle alanına kopyalayıp Ekle'ye tıklayın. Ardından, aldığınız talimatlara göre değeri ayarlayın veya seçeneği etkinleştirin.
Veri kümesi segmentlerini paralel olarak yükleme
Tam yük sırasında veri kümesini paralel olarak yüklenecek segmentlere bölerek büyük veri kümelerinin yüklenmesini hızlandırabilirsiniz. Tablolar veri aralıklarına, tüm bölümlere, tüm alt bölümlere veya belirli bölümlere göre bölünebilir.
Daha fazla bilgi için şuraya bakın: Veri kümesi segmentlerini paralel olarak çoğaltma.
Görevleri zamanlama
Aşağıdaki kullanım durumlarında, hedefi kaynakta yapılan değişikliklerle güncellemek için bir zamanlama aralığı tanımlamanız gerekir:
- Veri Hareketi ağ geçidi olmadan bir veri kaynağına erişme
- Bir SaaS uygulama Önizleme bağlayıcısı kullanırken. Önizleme bağlayıcıları hem Bağlantı oluştur iletişim kutusunda hem de çevrimiçi yardımda bir
düğmesiyle gösterilir. - SAP OData kaynağından değişiklikleri Zamanlandığı gibi seçeneğini kullanarak yakalarken.
Zamanlama, hedef veri kümelerinin, kaynak veri kümelerindeki değişikliklerle ne sıklıkla güncelleneceğini belirler. Zamanlama, güncelleme sıklığını belirlerken veri kümesi türü, güncelleme yöntemini belirler. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) destekliyorsa yalnızca kaynak verilerindeki değişiklikler çoğaltılacak ve ilgili hedef tablolara uygulanacaktır. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) desteklemiyorsa değişiklikler tüm kaynak verilerinin ilgili hedef tablolara yüklenerek uygulanacaktır. Kaynak veri kümelerinden bazıları CDC'yi destekliyor, bazıları desteklemiyorsa iki ayrı alt görev oluşturulacaktır (Değişiklikleri uygula olduğu veya Değişiklikleri sakla çoğaltma seçeneklerinin seçildiği varsayılır): Biri, CDC'yi desteklemeyen veri kümelerini yeniden yüklemek, diğeri CDC'yi desteklemeyen veri kümelerindeki değişiklikleri yakalamak içindir. Bu durumda, veri tutarlılığını sağlamak üzere her iki görev için de aynı zamanlama aralığını sürdürmemeniz kesinlikle tavsiye edilir (gelecekte güncelleme sıklığını değiştirmeye karar verirseniz).
Veri kaynağı türü ve abonelik kademesine göre minimum zamanlama aralıkları hakkında bilgi için bkz. İzin verilen minimum zamanlama aralıkları.
Zamanlamayı değiştirmek için:
Projenizi açın ve ardından aşağıdakilerden birini yapın:
- Görevler görünümündeki bir çoğaltma görevinde
öğesine tıklayın ve Zamanlama'yı seçin.
- İşlem hattı görünümündeki bir çoğaltma görevinde
öğesine tıklayın ve Zamanlama'yı seçin.
- Çoğaltma görevini açın ve Zamanlama araç çubuğu düğmesine tıklayın.
- Görevler görünümündeki bir çoğaltma görevinde
- Zamanlama ayarlarını gereken şekilde değiştirin ve ardından Tamam'a tıklayın.
Veri Hareketi ağ geçidi temel alınarak bir görev için kaçırılan bir çalıştırmayı yürütme
Bazen bir ağ sorunu Veri Hareketi ağ geçidi bağlantısının kaybolmasına neden olabilir. Veri Hareketi ağ geçidi bağlantısı bir sonraki zamanlanmış çalıştırmadan önce geri yüklenmezse veri görevi zamanlandığı gibi çalışamayacaktır. Bu gibi durumlarda, bağlantı yeniden kurulduktan sonra bir çalıştırmanın hemen yürütülüp yürütülmeyeceğini seçebilirsiniz.
Tüm Veri Hareketi ağ geçidi'ler için varsayılan ayarlar Yönetim etkinlik merkezinde tanımlanır. Bu ayarları, aşağıda açıklandığı gibi bireysel görevler için geçersiz kılabilirsiniz.
Bunu yapmak için
Projenizi açın ve ardından aşağıdakilerden birini yapın:
Görevler görünümündeki veri görevinde
öğesine tıklayın ve Zamanlama'yı seçin.
İşlem hattı görünümündeki veri görevinde
öğesine tıklayın ve Zamanlama'yı seçin.
Veri görevini açın ve Zamanlama araç çubuğu düğmesine tıklayın.
The Zamanlama - <task> iletişim kutusu açılır.
Bu görev için özel ayarlar kullan'ı açın.
İletişim kutusunun altında, aşağıdaki Kaçırılan zamanlanmış görevleri çalıştır seçeneklerinden birini seçin.
Bir görevi bir sonraki zamanlanmış örnekten önce çalıştırmak önemliyse Mümkün olan en kısa sürede ve ardından zamanlandığı gibi
Görevi bir sonraki zamanlanmış örnekte çalıştırmak için Zamanlandığı gibi
Ayarlarınızı kaydedin.
Ayrıca bk. Kaçırılan bir zamanlamadan sonra bir görev çalıştırmasını yürütme.