Ana içeriğe geç Tamamlayıcı içeriğe geç

Çoğaltma ayarları

Veri çoğaltma görevi için ayarları yapılandırabilirsiniz.

  • Çoğaltma görevini açın ve araç çubuğunda Ayarlar'a tıklayın.

Ayarlar: <Task-Name> diyalog penceresi açılır. Mevcut ayarlar aşağıda açıklanmıştır.

Genel

Bu sekmede, çoğaltma modunu, hazırlama ayarlarını (mevcut olduğunda) ve değişiklikleri hedefe uygulama modunu değiştirebilirsiniz.

Çoğaltma modu

Aşağıdaki çoğaltma modları kullanılabilir:

Bilgi notuSaaS uygulama kaynaklarından çoğaltma yaparken, Tam yük çoğaltma modu varsayılan olarak etkindir ve devre dışı bırakılamaz.
  • Tam yük: Verileri seçilen kaynak tablolardan hedef platforma yükler ve gerekirse hedef tabloları oluşturur. Tam yük, görev başlatıldığında otomatik olarak gerçekleşir ancak ihtiyaç duyulması halinde manuel olarak da gerçekleştirilebilir. Örneğin, Görünümlerdeki (CDC sırasında yakalanmayan) güncellemeleri çoğaltmanız gerekiyorsa veya CDC'yi desteklemeyen bir veri kaynağından çoğaltma yapıyorsanız manuel tam yük gerekli olacaktır.

  • Değişiklikleri uygula: Hedef tabloları, kaynak tablolarda yapılan değişikliklerle güncel tutar.

  • Değişiklikleri sakla: Kaynak tablolardaki değişiklikleri Değişiklik Tablolarında saklar (kaynak tablo başına bir tane).

    Daha fazla bilgi için bk. Değişiklikleri sakla.

Veri Hareketi ağ geçidi ile çalışırken değişiklikler, kaynaktan neredeyse gerçek zamanlı olarak yakalanır. Veri Hareketi ağ geçidi olmadan çalışırken (örneğin Qlik Talend Cloud Başlangıç Kılavuzu aboneliğiyle veya Hiçbiri seçeneğini belirlerken) değişiklikler, zamanlayıcı ayarlarına göre yakalanır. Daha fazla bilgi için bk. Çoğaltma ayarları.

Değişiklikleri sakla veya Değişiklikleri uygula seçeneğini belirlerseniz ve kaynak verileriniz CDC'yi desteklemeyen tablolar ya da görünümler içeriyorsa iki veri işlem hattı oluşturulacaktır. CDC'yi destekleyen tablolar için bir işlem hattı ve sadece Tam yüklemeyi destekleyen diğer tüm tablolar ve görünümler için başka bir işlem hattı.

Yükleme yöntemi

Snowflake'e çoğaltma yaparken aşağıdaki yükleme yöntemlerinden birini seçebilirsiniz:

  • Toplu yükleme (varsayılan)

    Toplu Yükleme'yi seçerseniz Veri yükleme sekmesinde yükleme parametrelerini ayarlayabileceksiniz.

  • Snowpipe Akışı

    Bilgi notu

    Snowpipe Akışı yalnızca aşağıdaki koşullar karşılandığında seçilebilecektir:

    • Değişiklikleri uygula olmadan Değişiklikleri sakla çoğaltma modu etkinleştirildiğinde.
    • Snowflake bağlayıcısındaki Kimlik Doğrulama Mekanizması Anahtar Çifti olarak ayarlanmıştır.
    • Veri Hareketi ağ geçidi kullanıyorsanız 2024.11.45 veya sonraki sürümü gereklidir.

    Snowpipe Akışını seçerseniz bu yöntemi kullanırken sınırlamaları ve dikkat edilmesi gereken hususları bildiğinizden emin olun. Ayrıca Snowpipe Akışı'nı seçer ve ardından Değişiklikleri uygula çoğaltma modunu etkinleştirir veya Değişiklikleri sakla'yı devre dışı bırakırsanız yükleme yöntemi otomatik olarak Toplu yükleme'ye geri döndürülür.

Toplu yükleme yerine Snowpipe Akışı'nı seçmenin ana nedenleri şunlardır:

  • Daha az maliyetli: Snowpipe Akışı, Snowflake deposunu kullanmadığından, işletim maliyetleri önemli ölçüde daha ucuz olmalıdır, ancak bu sizin özel kullanım durumunuza bağlı olacaktır.

  • Daha az gecikme süresi: Veriler doğrudan hedef tablolara aktarıldığından (hazırlama yerine), veri kaynağından hedefe çoğaltma daha hızlı olmalıdır.

İpucu notuSnowpipe Akışı kullanırken, ilk tam yükleme Toplu yükleme'ye göre önemli ölçüde daha yavaş olabilir. Yükleme performansını optimize etmek için, özellikle büyük veri kümeleri yüklenirken en iyi uygulama, Snowpipe Akışı'nı paralel yükleme özelliği ile birlikte kullanmaktır.

Hazırlama alanına bağlanma

Aşağıda listelenen veri deposuna çoğaltma yaparken bir hazırlama alanı ayarlamanız gerekir. Veriler, depoya aktarılmadan önce hazırlama alanında işlenir ve hazırlanır.

Mevcut bir hazırlama alanını seçin veya yeni bir hazırlama alanı tanımlamak için Yeni oluştur'a tıklayın ve Bulut depolamasına bağlanma bölümündeki talimatları takip edin.

Bağlantı ayarlarını düzenlemek için Düzenle'ye tıklayın. Bağlantıyı test etmek için (önerilir) Test bağlantısı'na tıklayın.

Hangi veri depolarıyla hangi hazırlama alanlarının desteklendiği hakkında bilgi almak için Hedef platform kullanım durumları ve desteklenen sürümler içindeki Hazırlama alanı olarak desteklenir sütununa bakın.

Değişiklikleri uygula modu

Bilgi notuVeri deposu hedeflerine çoğaltırken veya Qlik Talend Cloud Başlangıç Kılavuzu aboneliği ile çalışırken kullanılacak Değişiklikleri uygula modunu seçemezsiniz. Maksimum verimlilik için değişiklikler her zaman Toplu iyileştirme modunda uygulanacaktır. Bunun istisnası, Snowflake hedefine çoğaltma yapılırken Yükleme yönteminin Snowpipe akışı'na ayarlanmasıdır. Böyle bir durumda, hangi Değişiklikleri uygula modunun kullanılacağını hala seçemeseniz de, değişiklikler her zaman İşlem modunda uygulanacaktır.

Değişiklikler hedef tablolara aşağıdaki yöntemlerden biri kullanılarak uygulanır:

  • Toplu iş optimize edildi: Bu varsayılandır. Bu seçenek belirlendiğinde, değişiklikler toplu olarak uygulanır. İşlemleri en verimli şekilde toplu olarak gruplamak için bir ön işleme eylemi gerçekleştirilir.
  • İşlemsel: Her bir işlemi işlendiği sırayla tek tek uygulamak için bu seçeneği belirleyin. Bu durumda, tüm tablolar için katı referans bütünlüğü sağlanır.

Veri yükleniyor

Bu sekme yalnızca bir veri deposu hedefine çoğaltma yaparken gösterilecektir. Ayrıca bu sekmedeki bazı ayarlar yalnızca Snowflake ile ilgilidir.

Tüm veri deposu hedefleri için geçerlidir

Bir dosyanın kapatılmadan önce ulaşabileceği maksimum boyut. Küçük dosyalar daha hızlı yüklenir (ağa bağlı olarak) ve paralel yürütme seçeneğiyle birlikte kullanıldığında performansı iyileştirir. Ancak küçük dosyalarla veritabanını dağıtmak genellikle kötü bir uygulama olarak kabul edilir.

Yalnızca Snowflake hedefi için geçerlidir

Genel sekmesinde, verilerin Snowflake'e Toplu Yükleme veya Snowpipe Akışı kullanılarak yüklenip yüklenmeyeceğini seçebilirsiniz. Snowpipe Akışı seçildiğinde, Veri yükleme sekmesi gösterilmeyecektir. Toplu Yükleme seçildiğinde aşağıdaki ayarlar kullanılabilir olacaktır:

  • Maksimum dosya boyutu (MB): İlk Tam Yük ve CDC ile ilgilidir. Bir dosyanın hedefe yüklenmeden önce ulaşabileceği maksimum boyut. Performans sorunlarıyla karşılaşırsanız bu parametreyi ayarlamayı deneyin.

  • Bir partide yüklenecek dosya sayısı: Yalnızca ilk Tam Yük ile ilgilidir. Tek bir partide yüklenecek dosya sayısı. Performans sorunlarıyla karşılaşırsanız bu parametreyi ayarlamayı deneyin.

Toplu Yükleme ve Snowpipe Akışı yükleme yöntemlerinin açıklaması için bkz. Genel.

Meta veriler

Temel

  • Kaynak tablo şemasını kullanmak istemiyorsanız (veya kaynak veritabanında şema yoksa) kaynak tabloların çoğaltılacağı hedef üzerindeki şema.

    Bilgi notuBir Oracle hedefine çoğaltırken varsayılan hedef tablosu şeması "system" olduğunda. Ayrıca bu alanı boş bırakırsanız (bu durumda kaynak şeması kullanılacaktır) kaynak şemasının hedefte zaten mevcut olduğundan emin olmanız gerekir. Aksi takdirde görev başarısız olacaktır.
    Bilgi notuŞema adı için izin verilen maksimum uzunluk 128 karakterdir.

JSON sütun eşlemesi

Bilgi notu
  • Veri kaynağınıza erişmek için Veri Hareketi ağ geçidi kullanıyorsanız, 2024.11.70 veya daha güncel bir sürüm gereklidir.

  • Yalnızca SaaS uygulama Önizleme bağlayıcıları ile desteklenir.

Bu seçenek belirlendiğinde, kaynaktaki JSON sütunları otomatik olarak hedefteki JSON sütunlarına eşlenecektir.

Bu seçeneğin durumu ve görünürlüğü aşağıdaki faktörlere göre belirlenir:

  • Yeni görevler: Bu seçenek, hem kaynak hem de hedef JSON veri türünü destekliyorsa varsayılan olarak etkinleştirilecektir.

  • Mevcut görevler: Bu seçenek, hem kaynak hem de hedef JSON veri türünü desteklese bile varsayılan olarak devre dışı bırakılacaktır. Bu, hedef verilerin STRING biçiminde olmasını bekleyen (eski davranış olan) dönüşümler gibi aşağı akış süreçleriyle geriye dönük uyumluluğu korumak içindir. Seçeneği devre dışı bırakabilir veya JSON formatıyla uyumlu olacak şekilde aşağı akış süreçlerini düzenleyebilir ve ardından bu seçeneği etkinleştirebilirsiniz.

  • Yeni ve mevcut görevler: Kaynak yalnızca JSON veri türünü destekliyorsa, bu seçenek görünmez olacaktır. Daha sonraki bir aşamada hedefe JSON desteği eklenirse, seçenek görünür hale gelecek ancak devre dışı kalacaktır. Bu, hedef verilerin DİZE biçiminde olmasını bekleyen aşağı akış süreçleri - dönüşümler gibi - ile geriye dönük uyumluluğu korumak içindir (bu, eski davranıştır).

LOB ayarları

Bilgi notuBu ayarlar, SaaS uygulaması Önizleme bağlayıcısı ile tanımlanan görevler için kullanılamaz. Önizleme bağlayıcıları hem Bağlantı oluştur iletişim kutusunda hem de çevrimiçi yardımda bir Önizleme düğmesinin görüntüsü düğmesiyle gösterilir.

Kullanılabilir LOB ayarları, seçilen çoğaltma hedefine göre farklılık gösterir. Veri deposu hedefleri sınırsız LOB sütunu boyutlarını desteklemediğinden bu seçenek, bir veri deposuna çoğaltma yaparken kullanılamayacaktır.

  • LOB sütunlarını dahil etme: Kaynak LOB sütunlarının çoğaltılmasını istemiyorsanız bunu seçin.
  • LOB sütunu boyutunu şununla sınırla (KB): Bu varsayılandır. Yalnızca küçük LOB'ları çoğaltmanız gerekiyorsa veya hedef platform sınırsız LOB boyutunu desteklemiyorsa bu seçeneği belirleyin. Bu alan için izin verilen maksimum değer 102400 KB'dir (100 MB).

    Küçük LOB'ları çoğaltırken, bu seçenek LOB boyutunu sınırlama seçeneğinden daha verimlidir çünkü LOB'lar kaynaktan "arama" yoluyla değil "satır içi" olarak çoğaltılır. Değişiklik İşleme sırasında, küçük LOB'lar genellikle kaynaktan "arama" yoluyla çoğaltılır.

    Sınır, kaynak uç noktasından okunan LOB baytlarının sayısı için geçerlidir. BLOB sütunları için hedef BLOB boyutu tam olarak belirtilen sınıra göre olacaktır. CLOB ve NCLOB sütunları için kaynak ve hedef LOB aynı karakter kümesine sahip değilse hedef LOB boyutu, belirtilen sınırdan farklı olabilir. Bu durumda, veri görevi karakter kümesi dönüşümü gerçekleştirir ve bu da kaynak ve hedef LOB boyutları arasında bir tutarsızlığa neden olabilir.

    LOB boyutunu sınırla değeri bayt cinsinden olduğundan, boyut aşağıdaki formüllere göre hesaplanmalıdır:

    • BLOB: En büyük LOB'nin uzunluğu.
    • NCLOB: En uzun METİN'in karakter cinsinden uzunluğu iki ile çarpılır (her karakter çift bayt olarak ele alındığından). Veri 4 baytlık karakterler içeriyorsa bunu dört ile çarpın.
    • CLOB: En uzun METİN'in karakter cinsinden uzunluğu (her karakter bir UTF8 karakteri olarak ele alınır). Veri 4 baytlık karakterler içeriyorsa ikiyle çarpın.
    Bilgi notu
    • Belirtilen boyuttan daha büyük LOB'lar kesilecektir.
    • Oracle kaynağından Değişiklik İşleme sırasında, satır içi BLOB'lar satır içi olarak çoğaltılır.
    • Bu ayardaki değişiklikler yalnızca yeniden yüklendikten sonra mevcut tabloları etkileyecektir.
  • LOB sütunu boyutunu sınırlama: Bu seçenek seçildiğinde, LOB sütunları boyutlarına bakılmaksızın çoğaltılır.

    Bilgi notuLOB sütunlarının çoğaltılması performansı etkileyebilir. Bu durum özellikle kaynak LOB değerini almak üzere çoğaltma görevinin kaynak tablodan bir arama yapmasını gerektiren büyük LOB sütunları için geçerlidir.
    • LOB boyutu şundan daha küçük olduğunda iyileştirin: Hem küçük hem de büyük LOB'ları çoğaltmanız gerektiğinde ve LOB'ların çoğu küçük olduğunda bu seçeneği belirleyin.

      Bilgi notu

      Bu seçenek yalnızca aşağıdaki kaynaklar ve hedeflerle desteklenir:

      • Kaynaklar: Oracle, Microsoft SQL server, MySQL, PostgreSQL ve IBM DB2 for LUW

      • Hedefler: Oracle, Microsoft SQL Server, MySQL, PostgreSQL.

      Bu seçenek belirlendiğinde, Tam Yük sırasında küçük LOB'lar "satır içi" olarak çoğaltılır (bu daha verimlidir) ve büyük LOB'lar kaynak tablodan bir arama gerçekleştirilerek çoğaltılır. Ancak Değişiklik İşleme sırasında, hem küçük hem de büyük LOB'lar kaynak tablodan bir arama gerçekleştirilerek çoğaltılacaktır.

      Bilgi notu

      Bu seçenek seçildiğinde çoğaltma görevi, hangilerinin "satır içi" aktarılacağını belirlemek için tüm LOB boyutlarını kontrol edecektir. Belirtilen boyuttan daha büyük LOB'lar Tam LOB modu kullanılarak çoğaltılır.

      Bu nedenle, LOB'ların çoğunun belirtilen ayardan daha büyük olduğunu biliyorsanız Sınırsız LOB sütununu çoğalt bunun yerine seçeneği kullanmak daha iyidir.

    • Yığın boyutu (KB): İsteğe bağlı olarak, verileri hedefe çoğaltırken kullanılacak LOB yığınlarının boyutunu değiştirin. Varsayılan yığın boyutu çoğu durumda yeterli olacaktır ancak performans sorunlarıyla karşılaşırsanız boyutu ayarlamak performansı artırabilir.

      Bilgi notu

      Bazı veritabanlarında, veri türü doğrulaması veri eklendiğinde veya güncellendiğinde gerçekleşir. Bu gibi durumlarda, yapılandırılmış veri türlerinin (ör. XML, JSON, COĞRAFYA vb.) çoğaltılması, veriler belirtilen yığın boyutundan büyükse başarısız olabilir.

  • LOB sütunlarını dahil et ve sütun boyutunu şununla sınırla (KB):

    Görevdeki LOB sütunlarını dahil etmeyi seçebilir ve maksimum LOB boyutunu ayarlayabilirsiniz. Maksimum boyuttan büyük olan LOB'lar kesilir.

Gelişmiş

Kontrol tablosu ayarları

  • Kontrol tabloları şeması: Kontrol tablolarının kaynak şemada (varsayılan) veya hedef şemada oluşturulmasını istemiyorsanız bu tablolar için hedef şemayı belirtin.

    Bilgi notuŞema adı için izin verilen maksimum uzunluk 128 karakterdir.
  • Tablo alanında hedef kontrol tabloları oluşturma: ​ Çoğaltma hedefi Oracle olduğunda, hedef kontrol tablolarının oluşturulmasını istediğiniz tablo alanını belirtin. Bu alana bilgi girmezseniz tablolar, hedef veri tabanında varsayılan tablo alanında oluşturulacaktır.
  • Hedef kontrol tabloları için tablo alanında dizinler oluşturma: Çoğaltma hedefi Oracle olduğunda, kontrol tablo dizinlerinin oluşturulmasını istediğiniz tablo alanını belirtin. Bu alana bilgi girmezseniz dizinler, kontrol tabloları ile aynı tablo alanında oluşturulacaktır.
  • Çoğaltma geçmişi zaman aralığı (dakika): Çoğaltma geçmişi kontrol tablosundaki her bir zaman aralığının uzunluğu. Varsayılan değer 5 dakikadır.

Kontrol tablosu seçimi

Hedef platformda oluşturulmasını istediğiniz kontrol tablolarını seçin:

Mantıksal adHedefteki ad
İstisnaları uygulaattrep_apply_exceptions
Çoğaltma durumuattrep_status
Askıya alınmış tablolarattrep_suspended_tables
Çoğaltma geçmişiattrep_history
DDL geçmişi

attrep_ddl_history

DDL Geçmiş tablosu sadece aşağıdaki hedef platformlarla desteklenmektedir:

Bilgi notuAmazon Redshift , Amazon S3, Google Cloud Storage ve Snowflake için Veri Hareketi ağ geçidi 2024.11.14 veya sonraki sürümü gerekir.
  • Databricks

  • Microsoft Fabric
  • Amazon Redshift
  • Amazon S3
  • Google Cloud Storage
  • Snowflake

Kontrol tabloları hakkında daha fazla bilgi için bkz. Kontrol tabloları.

Tam yük

Bilgi notuBu ayarlar, SaaS uygulaması Önizleme bağlayıcısı ile tanımlanan görevler için kullanılamaz. Önizleme bağlayıcıları hem Bağlantı oluştur iletişim kutusunda hem de çevrimiçi yardımda bir Önizleme düğmesinin görüntüsü düğmesiyle gösterilir.

Temel

Bu ayarlar veri görevi hazırlama aşamasında uygulanır.

Hedef tablo zaten mevcutsa: Verilerin hedef tablolara nasıl yükleneceğini belirlemek için aşağıdakilerden birini seçin:

Bilgi notu

Hedef tabloları bırakma veya kesme seçeneği yalnızca bu tür işlemler kaynak uç noktası tarafından destekleniyorsa geçerlidir.

  • Tabloyu bırak ve oluştur: Hedef tablo bırakılır ve yerine yeni bir tablo oluşturulur.

    Bilgi notu

    Çoğaltma görevi Kontrol Tabloları bırakılmayacaktır. Ancak bırakılan askıya alınmış tablolar, ilişkili görev yeniden yüklendiğinde attrep_suspended_tables Kontrol Tablosundan da silinecektir.

  • Yüklemeden önce KES: Veriler, hedef tablo meta verilerini etkilemeden kesilir. Bu seçenek seçildiğinde, Tam yükleme tamamlandıktan sonra birincil anahtar veya benzersiz dizin oluştur seçeneğinin etkinleştirilmesinin hiçbir etkisi olmayacağını unutmayın.

    Bilgi notuHedef platform Microsoft Fabric olduğunda desteklenmez.
  • Yoksay: Hedef tablonun mevcut verileri ve meta verileri etkilenmeyecektir. Tabloya yeni veriler eklenecektir.

Gelişmiş

Performans ayarı

Veri çoğaltma aşırı yavaşsa aşağıdaki parametreleri ayarlamak, performansı iyileştirebilir.

  • Maksimum tablo sayısı: Hedefe tek seferde yüklenecek maksimum tablo sayısını girin. Varsayılan değer 5'tir.
  • İşlem tutarlılığı zaman aşımı (saniye): Tam Yük işlemine başlamadan önce açık işlemleri kapatmak için çoğaltma görevi tarafından beklenecek saniye sayısını girin. Varsayılan değer 600'dür (10 dakika). Çoğaltma görevi, açık işlemler olsa bile zaman aşımı değerine ulaşıldıktan sonra tam yüklemeye başlayacaktır.

    Bilgi notuTam Yük başladığında açık olan ancak zaman aşımı değerine ulaşıldıktan sonra işlenen işlemleri çoğaltmak için hedef tabloları yeniden yüklemeniz gerekir.
  • Tam yük sırasında bağlılık oranı: Birlikte aktarılabilecek maksimum olay sayısı. Varsayılan değer 10000'dir.

Tam yük tamamlandıktan sonra

Tam Yükleme tamamlandıktan sonra görevi otomatik olarak duracak şekilde ayarlayabilirsiniz. Bu, görevin Değişiklikleri Uygula (yani CDC) aşaması başlamadan önce hedef tablolar üzerinde DBA işlemleri gerçekleştirmeniz gerekiyorsa kullanışlıdır.

Tam Yükleme sırasında, kaynak tablolarda yürütülen tüm DML işlemleri önbelleğe alınır. Tam Yükleme tamamlandığında, önbelleğe alınan değişiklikler otomatik olarak hedef tablolara uygulanır (aşağıda açıklanan Önbelleğe alınan değişiklikler uygulanmadan önce/sonra seçenekleri devre dışı bırakıldığı sürece).

  • Birincil anahtar veya benzersiz dizin oluşturun: Hedef üzerinde birincil anahtar veya benzersiz dizin oluşturmayı tam yükleme tamamlanıncaya kadar ertelemek istiyorsanız bu seçeneği belirleyin.
  • Görevi durdur:
    Bilgi notu

    Bu ayarlar şu durumlarda kullanılmaz:

    • SaaS uygulama kaynaklarından çoğaltma yapılırken (önbelleğe alınmış olaylar olmadığında)
    • Veri deposu hedeflerine çoğaltma yaparken
    • Önbelleğe alınan değişiklikler uygulanmadan önce: Tam Yükleme tamamlandıktan sonra görevi durdurmak için seçin.

    • Önbelleğe alınan değişiklikler uygulandıktan sonra: Görevdeki tüm tablolarda veriler tutarlı olur olmaz görevi durdurmak için seçin.

    Bilgi notu

    Görevi Tam Yük tamamlandıktan sonra durdurulacak şekilde yapılandırırken aşağıdakilere dikkat edin:

    • Tam Yük tamamlandığı anda görev durmaz. Yalnızca ilk değişiklik grubu yakalandıktan sonra durdurulacaktır (çünkü görevi durdurmak için tetikleyen şey budur). Bu, kaynak veritabanının ne sıklıkta güncellendiğine bağlı olarak biraz zaman alabilir. Görev durduktan sonra, görev yeniden başlatılana kadar değişiklikler hedefe uygulanmayacaktır.
    • Önbelleğe alınan değişiklikler uygulanmadan önce seçimi, önbelleğe alınan değişiklikler yalnızca son tablo Tam Yüklemeyi tamamladıktan sonra tablolara (zaten Tam Yüklemeyi tamamlamış olanlar dahil) uygulanacağından performansı etkileyebilir.
    • Bu seçenek seçildiğinde ve Tam Yükleme işlemi sırasında kaynak tablolardan birinde bir DDL yürütüldüğünde (Tam Yükle ve Değişiklikleri Uygula görevinde), çoğaltma görevi tabloyu yeniden yükleyecektir. Bu, kaynak tablolarda yürütülen tüm DML işlemlerinin görev durmadan önce hedefe çoğaltılacağı anlamına gelir.

İlk yük için

SaaS uygulama kaynaklarından veri taşırken ilk tam yüklemenin nasıl gerçekleştirileceğini ayarlayabilirsiniz:

Bilgi notu Veri kaynağınıza erişmek için Veri Hareketi ağ geçidi kullanıyorsanız bu ayarlar 2022.11.74 veya daha güncel bir sürümü gerektirir.
Önbelleğe alınmış verileri kullanma

Bu seçenek, Tam veri taraması seçiliyken meta veri oluşturulduğunda okunan önbelleğe alınmış verileri kullanmanızı sağlar.

Bu, veriler zaten kaynaktan okunduğu için API kullanımı ve kotalarla ilgili daha az ek yük oluşturur. İlk veri taramasından bu yana meydana gelen tüm değişiklikler Değişiklik verisi yakalama (CDC) ile alınabilir.

Kaynaktan veri yükleme

Bu seçenek veri kaynağından yeni bir yükleme gerçekleştirir. Bu seçenek şu durumlarda yararlıdır:

  • Meta veri taraması yakın zamanda gerçekleştirilmemişse.

  • Kaynak veri kümesi küçük ve sık sık değişiyorsa ayrıca değişikliklerin tam bir geçmişini tutmak istemiyorsanız.

Değişiklikleri uygula

Bu ayarlar yalnızca Değişiklikleri uygula çoğaltma modu etkinleştirildiğinde kullanılabilir.

Temel

DDL değişikliklerini hedef tabloya uygula

Bilgi notuSaaS uygulama kaynaklarından çoğaltma yapılırken bu ayarlar kullanılamaz.

Aşağıdaki seçenekler, ilgili kaynak tablo üzerinde gerçekleştirilen DDL işlemlerinin hedef tablo üzerinde de gerçekleştirilip gerçekleştirilmeyeceğini belirler.

  • Tabloyu bırak: Kaynak tablo bırakıldığında hedef tabloyu bırakmak için seçin.
  • Tabloyu kes: Kaynak tablo kesildiğinde hedef tabloyu kesmek için seçin.

    Bilgi notuHedef platform Microsoft Fabric olduğunda desteklenmez.
  • Tabloyu değiştir: Kaynak tablo değiştirildiğinde hedef tabloyu değiştirmek için seçin.

İşleme ayarını değiştir

  • Birden fazla tabloya aynı anda toplu değişiklikler uygula: Bu seçeneğin seçilmesi, birden fazla kaynak tablodan değişiklik uygularken performansı artırabilir. 

    Bilgi notu

    Bu seçenek sadece şu durumlarda desteklenir:

    • Değişiklikleri uygula modu Toplu iyileştirme olarak ayarlandığında. Daha fazla bilgi için şuraya bakın: Çoğaltma ayarları.
    • Çoğaltma görevleri MySQL, PostgreSQL, Oracle ve Google BigQuery değildir.
    • Maksimum tablo sayısı: Toplu değişikliklerin eşzamanlı olarak uygulanacağı maksimum tablo sayısı. Varsayılan değer beş, maksimum değer 50 ve minimum değer ikidir.

Toplu değişiklikleri aynı anda birden fazla tabloya uygula seçeneği etkinleştirildiğinde, aşağıdaki sınırlamalar geçerlidir:

  • Görev hata işleme ilkesi varsayılanları Ortam ve Tablo hataları için değişmeyecektir ancak Veri hataları ve Çakışmaları Uygula hataları için varsayılanlar aşağıdaki gibi olacaktır:

    • Veri hataları:
      • Veri kesme hataları: Kaydı istisnalar tablosuna kaydetme
      • Diğer veri hataları: Tabloyu askıya al
    • Uygulama Çakışması hataları:
      • Siler: Kaydı yoksay
      • Eklenenler: Mevcut hedef kaydını güncelleyin

        Bilgi notuBu bir Snowflake hedefi için geçerli değildir (Snowflake, Birincil Anahtarları desteklemediğinden).
      • Güncellemeler: Kaydı yoksay
    • Hızlandırma eylemi:
      • Hem Veri hataları hem de Uygulama Çakışmaları için Eskalasyon eylemi desteklenmez.
    • attrep_apply_exception Kontrol Tablosu desteklenmemektedir.
    • Veri hataları için:
      • Özel durumlar tablosuna günlük kaydı seçeneği yalnızca veri kesme hataları için kullanılabilir.
      • Yoksay seçeneği yoktur.
    • Uygulama Çakışmaları için:
      • Kaydı istisnalar tablosuna günlüğe kaydet seçeneği kullanılamaz.
      • Yoksay seçeneği yalnızca UPDATE uygula çakışmasını uygulamak için Kayıt bulunamadı için kullanılabilir.

Ayrıca bk. Hata işleme.

  • Değişiklik işleme ifadesi başına uygulanan değişiklik sayısını şununla sınırla: Tek bir değişiklik işleme ifadesine uygulanan değişiklik sayısını sınırlamak için bu onay kutusunu seçin ve ardından isteğe bağlı olarak varsayılan değeri değiştirin. Varsayılan değer 10,000'dir.

    Bilgi notuBu seçenek yalnızca şu hedeflerle desteklenir: MySQL, PostgreSQL, Oracle ve Google BigQuery.

Gelişmiş

bk. İşleme ayarını değiştir.

Değişiklikleri sakla

Bu ayarlar yalnızca Değişiklikleri sakla çoğaltma modu etkinleştirildiğinde kullanılabilir.

Temel

DDL seçenekleri

Bilgi notuSaaS uygulama kaynaklarından çoğaltma yapılırken bu ayarlar kullanılamaz.

Kaynak tablolarda DDL işlemlerinin nasıl işleneceğini belirlemek için aşağıdaki seçeneklerden birini seçin:

  • Değişiklik tablosuna uygula: Kaynak tablolara yapılan DDL işlemleri (eklenen bir sütun gibi) yalnızca ilgili Değişiklik Tablolarına uygulanır.
  • Yoksay: Kaynak tablolara yapılan tüm DDL işlemleri yoksayılır.

Gelişmiş

Güncelleme üzerine

Bilgi notuDeğişiklikler EKLE işlemleri olarak uygulandığından bu ayar SaaS uygulama kaynakları için geçerli değildir.

Hem GÜNCELLE öncesi verileri hem de GÜNCELLE sonrası verileri saklamak için Önce ve sonra resmini sakla öğesini seçin. Seçilmediğinde, yalnızca GÜNCELLEME sonrası veriler saklanacaktır.

Tablo oluşturmayı değiştir

Aşağıdaki bölümde, değişiklikleri Değişiklik Tabloları'nda saklarken kullanılabilecek seçenekler açıklanır.

  • Son ek: Tüm Değişiklik Tabloları için son ek olarak kullanılacak bir dize belirtin. Varsayılan değer: __ct. Değişiklik Tablosu adları, hedef tablonun adına son ek eklenmiş halidir. Bu nedenle örneğin, varsayılan değeri kullanırken Değişiklik Tablosunun adı HR__ct olacaktır.
  • Üst bilgi sütun ön eki: Tüm Değişiklik Tablosu üst bilgi sütunları için son ek olarak kullanılacak bir dize belirtin. Varsayılan değer: header__. Örneğin, varsayılan değeri kullanırken stream_position üst bilgi sütunu, header__stream_position adını alacaktır.

Değişiklik Tabloları hakkında daha fazla bilgi için bkz. Değişim Tablolarını Kullanma.

Tam yük başladığında değişiklik tablosu mevcutsa: Tam Yük replikasyonu başladığında Değişiklik Tablolarının nasıl yükleneceğini belirlemek için aşağıdakilerden birini seçin:

  • Bırak ve değişiklik tablosu oluştur: Tablo bırakılır ve yerine yeni bir tablo oluşturulur.
  • Eski değişiklikleri sil ve değişiklikleri mevcut değişiklik tablosuna kaydet: Veriler kesilir ve tablo meta verilerini etkilemeden eklenir.

    Bilgi notuHedef platform Microsoft Fabric olduğunda desteklenmez.
  • Eski değişiklikleri sakla ve yeni değişiklikleri mevcut değişiklik tablosuna kaydet: Mevcut Değişiklik tablosunun verileri ve meta verileri etkilenmez.

Tablo başlığı sütunları

Değişiklik Tablosu başlık sütunları, işlem türü (örneğin EKLE), işleme zamanı ve benzeri gibi Değişiklik İşleme işlemleri hakkında bilgi sağlar. Tüm bu bilgilere ihtiyacınız yoksa moving görevini, Değişiklik Tablolarını seçili başlık sütunlarıyla (veya hiç sütun olmadan) oluşturacak ve böylece hedef veritabanındaki ayak izlerini azaltacak şekilde yapılandırabilirsiniz.

Bilgi notuBir görev çalışırken ek sütunları kaldıramaz veya sütunları geri yükleyemezsiniz. İlk seçiminizi değiştirmek için önce görevi durdurmanız, ardından seçiminizi değiştirmeniz ve son olarak hedef tabloları yeniden yüklemeniz gerekir.

Başlık sütunlarının açıklaması için bk. Değişiklik Tabloları.

Hata işleme

Temel

Çakışmaları uygula

EKLEME uygularken anahtarı çoğaltma: Bir EKLE işlemi ile çakışma olduğunda hangi eylemin gerçekleştirileceğini seçin.

Bilgi notuSaaS uygulama kaynaklarından çoğaltma yaparken, yalnızca mevcut hedef kaydı GÜNCELLE eylemi desteklenir.
  • Yoksay: Görev devam eder ve hata yoksayılır.

     

  • Mevcut hedef kaydını GÜNCELLE: EKLENEN kaynak kayıtla aynı birincil anahtara sahip hedef kayıt güncellenir.

  • Kaydı istisnalar tablosuna kaydet (varsayılan): Görev devam eder ve hata istisnalar tablosuna yazılır.
  • Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz.

  • Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

GÜNCELLEME uygulamak için kayıt bulunamadı: Bir GÜNCELLE işlemi ile çakışma olduğunda hangi eylemin gerçekleştirileceğini seçin.

Bilgi notuSaaS uygulama kaynaklarından çoğaltma yapılırken bu ayarlar kullanılamaz.
  • Yoksay: Görev devam eder ve hata yoksayılır.
  • Eksik hedef kaydını EKLE: Eksik hedef kaydı hedef tabloya eklenecektir. Kaynak uç noktası Oracle olduğunda, bu seçeneğin belirlenmesi tüm kaynak tablo sütunları için ek günlük kaydının etkinleştirilmesini gerektirir.

  • Kaydı istisnalar tablosuna kaydet (varsayılan): Görev devam eder ve hata istisnalar tablosuna yazılır.
  • Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz.

  • Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Gelişmiş

Bilgi notu

Veri hatası işleme yalnızca Değişiklikleri Uygula çoğaltma modunda desteklenir (Tam Yük değil).

Veri hataları

Veri kesme hataları için: Bir veya daha fazla belirli kayıtta kesilme meydana geldiğinde ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

  • Yoksay: Görev devam eder ve hata yoksayılır.
  • İstisnalar tablosuna günlük kaydı (varsayılan): Görev devam eder ve hata istisnalar tablosuna yazılır.
  • Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
  • Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Diğer veri hataları için: Bir veya daha fazla belirli kayıtta hata oluştuğunda ne olmasını istediğinizi seçin. Listeden aşağıdakilerden birini seçebilirsiniz:

  • Yoksay: Görev devam eder ve hata yoksayılır.
  • İstisnalar tablosuna günlük kaydı (varsayılan): Görev devam eder ve hata istisnalar tablosuna yazılır.
  • Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
  • Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Diğer veri hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Kesilmeyen veri hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Hızlandırma eylemi: Hata işleme yükseltildiğinde ne olması gerektiğini seçin. Kullanılabilir eylemlerin yukarıda açıklanan Diğer veri hataları için açılır listesinden seçilen eyleme bağlı olduğunu unutmayın.

  • Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri için moved işlemi yapılmaz.

    Bilgi notu

    Davranış, Değişiklik İşleme Moduna göre farklılık gösterir:

    • İşlemsel uygulama modunda, son değişiklikler için moved işlemi yapılmayacaktır.

    • Toplu iyileştirme uygulama modunda veriler için moved işleminin hiç yapılmayacağı veya sadece kısmi moved işlemi yapılacağı bir durum olabilir.

  • Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.
  • Kaydı istisnalar tablosuna kaydet: Görev devam eder ve kayıt istisnalar tablosuna yazılır.

Tablo hataları

Bu seçenek, tablo hata işleme ilkesinin ne zaman tetikleneceğini kontrol etmenizi sağlar. Varsayılan olarak, bir tablo hatasıyla karşılaşıldıktan sonra, üç yeniden denemeden sonra tablo askıya alınacak veya görev durdurulacaktır (seçilen eyleme göre). Bazen, SaaS uygulamasının planlı bakımı nedeniyle bir tablo hatası oluşur. Bu durumlarda, tablo hata işleme ilkesi tetiklenmeden önce bakımın tamamlanması için varsayılan yeniden deneme sayısı yeterli olmayabilir. Bu aynı zamanda görevin zamanlama aralığına da bağlıdır, çünkü görev her çalıştığında bir yeniden deneme gerçekleştirilecektir. Yani, örneğin, bir görevi her saat çalışacak şekilde zamanlarsanız ve görev çalışmaya başlar başlamaz SaaS uygulaması bakım için çevrimdışı duruma alınırsa, varsayılan üç yeniden deneme, tablo hata işleme ilkesi tetiklenmeden SaaS uygulamasının üç saate kadar çevrimdışı kalmasına izin verecektir. Daha uzun bir bakım penceresi, tablo hata işleme ilkesinin tetiklenmesini önlemek için yeniden deneme sayısını artırmanızı (veya zamanlamayı değiştirmenizi) gerektirir.

Özetle, SaaS uygulamanızın periyodik bakımdan geçtiğini biliyorsanız, en iyi uygulama, bakımın tablo hata işleme ilkesi tetiklenmeden tamamlanabilmesi için yeniden deneme sayısını zamanlamaya göre artırmaktır.

Bilgi notu
  • Bu seçenek, yalnızca Lite veya Standard SaaS uygulama bağlayıcısı ile yapılandırılmış görevler için gösterilecektir.

  • Veri Hareketi ağ geçidi kullanıyorsanız 2024.11.70 veya sonraki sürümü gereklidir.

Tablo hatasıyla karşılaşıldığında: Açılır listeden aşağıdakilerden birini seçin:

  • Tabloyu askıya al (varsayılan): Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz
  • Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Tablo hataları ulaştığında hata işlemeyi yükseltin (tablo başına): Tablo hatalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Eskalasyon eylemi: Tablo hataları için eskalasyon politikası Görevi durdur olarak ayarlanmıştır ve değiştirilemez.

Çakışmaları uygula

Bilgi notuSaaS uygulama kaynaklarından çoğaltma yapılırken bu ayarlar kullanılamaz.

SİL işlemini uygulamak için kayıt bulunamadı: Bir SİL işlemi ile çakışma olduğunda hangi eylemin gerçekleştirileceğini seçin.

  • Yoksay: Görev devam eder ve hata yoksayılır.
  • Kaydı istisnalar tablosuna kaydet: Görev devam eder ve kayıt istisnalar tablosuna yazılır.
  • Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz.
  • Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Uygulama çakışmaları ulaştığında hata işlemeyi yükseltin (tablo başına): Uygulama çakışmalarının sayısı (tablo başına) belirtilen miktara ulaştığında hata işlemeyi yükseltmek için bu onay kutusunu seçin. Geçerli değerler 1-10.000 arasındadır.

Yükseltme eylemi: Hata işleme yükseltildiğinde ne olması gerektiğini seçin:

  • Kaydı istisnalar tablosuna kaydet (varsayılan): Görev devam eder ve hata istisnalar tablosuna yazılır.
  • Tabloyu askıya al: Görev devam eder ancak hata kaydının bulunduğu tablodaki veriler hata durumuna taşınır ve verileri çoğaltılmaz.

    Bilgi notu

    Davranış, Değişiklik İşleme Moduna göre farklılık gösterir:

    • İşlemsel uygulama modunda, son değişiklikler çoğaltılmayacaktır

    • Toplu iyileştirilmiş uygulama modunda, veri çoğaltmanın olmayacağı veya veri çoğaltmanın kısmi olacağı bir durum mümkündür.

  • Görevi durdur: Görev durdurulur ve manuel müdahale gerekir.

Ortam hataları

  • Maksimum yeniden deneme sayısı: Bu seçeneği seçin ve ardından kurtarılabilir bir çevresel hata oluştuğunda bir görevi yeniden denemek için maksimum deneme sayısını belirtin. Görev belirtilen sayıda tekrar denedikten sonra görev durdurulur ve manuel müdahale gerekir.

    Bir görevi asla yeniden denememek için onay kutusunun işaretini kaldırın veya "0" olarak belirtin.

    Bir görevi sonsuz sayıda yeniden denemek için "-1" belirtin

    • Yeniden deneme girişimleri arasındaki aralık (saniye): Sistemin bir görevi yeniden deneme denemeleri arasında bekleyeceği saniye sayısını seçmek veya yazmak için sayacı kullanın.

      Geçerli değerler 0-2.000 arasındadır.

  • Uzun kesintiler için yeniden deneme aralığını artır: Uzun kesintilerde yeniden deneme aralığını artırmak için bu onay kutusunu seçin. Bu seçenek etkinleştirildiğinde, Maksimum yeniden deneme aralığına ulaşılana kadar (ve belirtilen maksimum aralığa göre yeniden denemeye devam eder) her bir yeniden deneme denemesi arasındaki aralığı iki katına çıkarır.
    • Maksimum yeniden deneme aralığı (saniye): Uzun kesintiler için yeniden deneme aralığını artır seçeneği etkinleştirildiğinde, bir görevi yeniden deneme denemeleri arasında beklenecek saniye sayısını seçmek veya yazmak için sayacı kullanın. Geçerli değerler 0-2.000 arasındadır.

İşleme ayarını değiştir

İşlem aktarım ayarı

  • Devam eden işlemi şu durumda diske aktar:

    Çoğaltma görevi genellikle işlem verilerini kaynak ve/veya hedefe tamamen işlenene kadar bellekte tutar. Ancak tahsis edilen bellekten daha büyük olan veya belirtilen zaman sınırı içinde işlenmeyen işlemler diske boşaltılır.

    • İşlem belleği boyutu (MB) değerini aşıyor: Tüm işlemlerin diske boşaltılmadan önce bellekte kaplayabileceği maksimum boyut. Varsayılan değer 1024'tür.
    • İşlemlerin süresi (saniye) değerini aşıyor: Her bir işlemin diske boşaltılmadan önce bellekte kalabileceği maksimum süre. Süre, çoğaltma görevinin işlemi yakalamaya başladığı andan itibaren hesaplanır. Varsayılan değer 60'tır.

Toplu ayarlama

Bu sekmedeki ayarlar Değişiklikleri uygula modu tarafından belirlenir.

Bilgi notuVeri deposu hedeflerine çoğaltırken veya Qlik Talend Cloud Başlangıç Kılavuzu aboneliği ile çalışırken kullanılacak Değişiklikleri uygula modunu seçemezsiniz. Maksimum verimlilik için değişiklikler her zaman Toplu iyileştirme modunda uygulanacaktır. Bunun istisnası, Snowflake hedefine çoğaltma yapılırken Yükleme yönteminin Snowpipe akışı'na ayarlanmasıdır. Böyle bir durumda, hangi Değişiklikleri uygula modunun kullanılacağını hala seçemeseniz de, değişiklikler her zaman işlem modunda uygulanacaktır.

Yalnızca "Uygulama modu" "Toplu iyileştirme" olarak ayarlandığında kullanılabilir olan ayar.

  • Toplu değişiklikleri aralıklarla uygula:
    • En az: Toplu değişikliklerin her bir uygulaması arasında beklenecek minimum süre. Varsayılan değer 1'dir.

      Daha uzun değerinin artırılması, yığınların boyutunu artırırken değişikliklerin hedefe uygulanma sıklığını azaltır. Bu, büyük partileri işlemek için optimize edilmiş hedef veritabanlarına değişiklik uygularken performansı artırabilir.

    • Less fazla: Toplu değişikliklerin her bir uygulaması arasında beklenecek maksimum süre (zaman aşımı bildirilmeden önce). Başka bir deyişle, kabul edilebilir maksimum gecikme süresi. Varsayılan değer 30'dur. Bu değer, Şundan daha uzun değerine ulaşıldıktan sonra değişiklikleri uygulamadan önce beklenecek maksimum süreyi belirler.
  • İşlem belleği (MB) değerini aştığında bir yığın uygulamaya zorla: Toplu iyileştirme uygulama modunda ön işleme için kullanılacak maksimum bellek miktarı. Varsayılan değer 500'dür.

    Maksimum parti boyutu için bu değeri çoğaltma görevine ayırabileceğiniz en yüksek bellek miktarına ayarlayın. Bu, büyük partileri işlemek için optimize edilmiş hedef veritabanlarına değişiklik uygularken performansı artırabilir.

Yalnızca "Uygulama modu" "İşlem" olarak ayarlandığında kullanılabilir olan ayar.

Aşağıdaki ayarlar yalnızca "İşlem" uygulama modunda çalışırken kullanılabilir. Snowflake'e çoğaltma yaparken "İşlem" modunun mevcut tek uygulama modu olduğunu (ve bu nedenle seçilemediğini) ve Yükleme yöntemi'nin Snowpipe Akışı olduğunu unutmayın.

  • İşlem başına minimum değişiklik sayısı: Her bir işleme dahil edilecek minimum değişiklik sayısı. Varsayılan değer 1000'dir.

    Bilgi notu

    Değişiklikler, değişiklik sayısı İşlem başına minimum değişiklik sayısı değerine eşit veya daha büyük olduğunda YA DA aşağıda açıklanan Uygulamadan önce toplu işlemler için maksimum süre (saniye) değerine erişildiğinde (hangisi önce olursa) hedefe uygulanır. Hedefe uygulanan değişikliklerin sıklığı bu iki parametre tarafından kontrol edildiğinden, kaynak kayıtlarda yapılan değişiklikler hedef kayıtlara hemen yansıtılmayabilir.

  • Uygulamadan önce toplu işlemler için maksimum süre (saniye): Bir zaman aşımı bildirmeden önce işlemlerin toplu olarak toplanması için maksimum süre. Varsayılan değer 1'dir.

Aralık

SAP ODP ve SaaS uygulama (Lite) bağlayıcıları kullanılırken ayarlar

  • Her (dakikada) bir değişikleri oku

    Kaynaktan okuma değişiklikleri arasındaki dakika cinsinden aralık. Geçerli aralık 1 ila 1440'tır.

    Bilgi notu

    Bu seçenek yalnızca veri görevi şununla tanımlandığında mevcuttur:

    • Veri Hareketi ağ geçidi
    • Aşağıdaki kaynaklardan herhangi biri:
    • Değişiklikleri uygula veya Değişiklikleri kaydet güncelleme yöntemi

SAP OData bağlayıcısı kullanılırken ayarlar

  • Delta ayıklama aralığına göre: Bu seçenek belirlendiğinde veri görevi Delta çıkarma aralığına göre değişiklikleri kontrol eder.

    Bilgi notuAralık, her "turdan" sonra başlayacaktır. Bir tur, veri görevinin kaynak tablolardan değişiklikleri okuması ve bunları hedefe (tek bir işlem olarak) göndermesi için geçen süre olarak tanımlanabilir. Bir turun uzunluğu, tablo ve değişiklik sayısına göre değişir. Yani 10 dakikalık bir aralık belirtirseniz ve bir tur 4 dakika sürerse değişiklikleri kontrol etme arasındaki gerçek süre 14 dakika olacaktır.
    • Delta ayıklama aralığı Sisteminizden deltaların çıkarılma sıklığı. Varsayılan 60 saniyede birdir.

  • Zamanlandığı gibi: Bu seçenek belirlendiğinde, veri görevi deltayı bir kez çıkarır ve ardından durur. Daha sonra zamanlandığı gibi çalışmaya devam edecektir.

    Bilgi notuBu seçenek yalnızca CDC döngüleri arasındaki aralık 24 saat veya daha fazla ise geçerlidir.

    Zamanlama hakkında bilgi için:

Çeşitli ayarlar

İfadeler önbellek boyutu (ifade sayısı)

Daha sonra yürütülmek üzere sunucuda depolanacak maksimum hazır ifade sayısı (değişiklikleri hedefe uygularken). Varsayılan değer 50'dir. Maksimum değer 200'dür.

Görev kurtarma verilerini hedef veritabanında saklayın

Bilgi notuBu seçenek, veri deposu hedefine çoğaltma yaparken kullanılamaz.

Göreve özgü kurtarma bilgilerini hedef veritabanında saklamak için bu seçeneği belirleyin. Bu seçenek belirlendiğinde, çoğaltma görevi hedef veritabanında attrep_txn_state adında bir tablo oluşturur. Bu tablo, Veri Hareketi ağ geçidiVeri klasöründeki dosyaların bozulması veya Veri klasörünü içeren depolama cihazının arızalanması durumunda bir görevi kurtarmak için kullanılabilecek işlem verilerini içerir.

SQL BİRLEŞTİR işlemini kullanarak değişiklikleri uygula

Bilgi notuBu seçenek yalnızca belirli veri deposu hedeflerine çoğaltma yaparken kullanılamaz (ayrıntılar için aşağıya bakın).

Bu seçenek seçilmediğinde çoğaltma görevi, Net Değişiklikler tablosundaki farklı değişiklik türlerinin her biri için toplu olarak ayrı INSERT, UPDATE ve DELETE ifadeleri yürütecektir.

İpucu notuNet Değişiklikler tablosu, Toplu iyileştirme uygulama modunda çalışırken hedefte oluşturulur ve kaynakta değiştirilen kayıtları içerir. Kaynak değişikliklerin hedefe uygulandığı her seferde kesilir.

Bu yöntem son derece verimli olsa da Değişiklikleri SQL MERGE kullanarak uygula seçeneğini etkinleştirmek, bu seçeneği destekleyen uç noktalarla çalışırken daha da verimlidir.

Bunun nedeni aşağıdakilerdir:

  • Bu, tablo başına çalıştırılan SQL ifadelerinin sayısını üçten bire düşürür. Büyük, sabit, dosya tabanlı bulut veritabanlarındaki (Google Cloud BigQuery gibi ) çoğu UPDATE işlemi, etkilenen dosyaların yeniden yazılmasını içerir. Bu tür işlemler ile tablo başına SQL ifadelerinin sayısını üçten bire indirmek çok önemlidir.
  • Hedef veritabanın Net Değişiklikler tablosunu yalnızca bir kez taraması gerekir, bu sayede G/Ç'yi önemli ölçüde azaltır.

Değişiklikleri SQL MERGE kullanarak uygula, Eklemeleri optimize et seçeneğiyle birlikte seçildiğinde ve değişiklikler yalnızca INSERT'leri içerdiğinde çoğaltma görevi, SQL MERGE kullanmak yerine INSERT'leri gerçekleştirecektir. Bunun, genellikle performansı artırarak maliyetleri azaltacak olsa da hedef veri tabanında yinelenen kayıtlarla sonuçlanabileceğini unutmayın.

Bilgi notu
  • Değişiklikleri SQL MERGE kullanarak uygula ve Eklemeleri optimize et seçenekleri yalnızca aşağıdaki hedef uç noktalarla yapılandırılmış görevler için kullanılabilir:
    • Google Cloud BigQuery
    • Databricks
    • Snowflake
  • Değişiklikleri SQL MERGE kullanarak uygula ve Eklemeleri optimize et seçenekleri aşağıdaki kaynak uç noktalarıyla desteklenmez:
    • Salesforce
    • Oracle
  • Değişiklikleri SQL MERGE kullanarak uygula seçeneği etkinleştirildiğinde:

    • Ölümcül olmayan veri hataları veya düzeltilemeyen veri hataları tablo hataları olarak ele alınacaktır.
    • Çakışmaları Uygula hata işleme politikası aşağıdaki ayarlarla düzenlenemez olacaktır.
      • SİL işlemini uygulamak için kayıt bulunamadı: Kaydı yoksay
      • EKLEME uygularken anahtarı çoğaltma: Mevcut hedef kaydını güncelleyin

        Bilgi notuEklemeleri optimize et seçeneği de seçildiyse INSERT uygularken anahtarı çoğaltma seçeneği, Hedefte çoğaltmalara izin ver olarak ayarlanacaktır.
      • GÜNCELLEME uygulamak için kayıt bulunamadı: Eksik hedef kaydını EKLEYİN
      • Hızlandırma eylemi: Kaydı istisna tablosuna kaydetme
    • Aşağıdaki Diğer veri hataları için Veri hatası işleme politikası seçenekleri kullanılamayacaktır:
      • Kaydı yoksay
      • Kaydı istisnalar tablosuna kaydetme
    • Gerçek SQL MERGE işlemi yalnızca son hedef tablolarda gerçekleştirilecektir. INSERT işlemleri ara Değişiklik tablolarına uygulanacaktır (Değişiklikleri uygula veya Değişiklikleri kaydet çoğaltma modları etkinleştirildiğinde).

İşlemsel uygulama

Bilgi notu

Uygulama modu her zaman Toplu iyileştirme olduğundan, veri deposu hedeflerine çoğaltma yaparken veya Veri Hareketi ağ geçidi olmadan çalışırken bu seçenekler alakalı olmaz. Bunun bir istisnası vardır.

Bunun istisnası, Snowflake'e çoğaltma yapılırken Yükleme yönteminin Snowpipe akışı'na ayarlanmasıdır.

Aşağıdaki ayarlar yalnızca işlem uygulama modunda çalışırken kullanılabilir. Veritabanlarına çoğaltma yaparken, Uygulama modu Toplu iyileştirme veya İşlem olarak ayarlanabilir. Ancak Snowflake hedefine çoğaltma yapılırken ve Yükleme yöntemi Snowpipe akışı olarak ayarlanırken, uygulama modu her zaman işlemdir ve bu nedenle ayarlanamaz.

  • İşlem başına minimum değişiklik sayısı: Her bir işleme dahil edilecek minimum değişiklik sayısı. Varsayılan değer 1000'dir.

    Bilgi notuÇoğaltma görevi, değişiklik sayısı İşlem başına Minimum değişiklik sayısı değerine eşit ya da daha büyük olduğunda VEYA toplu iş zaman aşımı değerine ulaşıldığında (aşağıya bakın) (hangisi önce gerçekleşirse) değişiklikleri hedefe uygular. Hedefe uygulanan değişikliklerin sıklığı bu iki parametre tarafından kontrol edildiğinden, kaynak kayıtlarda yapılan değişiklikler hedef kayıtlara hemen yansıtılmayabilir.
  • Uygulamadan önce toplu işlemler için maksimum süre (saniye): Bir zaman aşımı bildirmeden önce işlemlerin toplu olarak toplanması için maksimum süre. Varsayılan değer 1'dir.

Şema değişimi

Şemada aşağıdaki DDL değişiklik türlerinin nasıl işleneceğini seçin. Şema değişimi ayarlarını değiştirdiğinizde görevi tekrar hazırlamanız gerekir. Aşağıdaki tabloda desteklenen DDL değişiklikleri için hangi eylemlerin mevcut olduğu açıklanmaktadır.

Bilgi notuBir görev bir SaaS uygulaması Önizleme bağlayıcısı ile tanımlandığında yalnızca Sütun veri türünü değiştir DDL değişikliği desteklenir. Önizleme bağlayıcıları hem Bağlantı oluştur iletişim kutusunda hem de çevrimiçi yardımda bir Önizleme düğmesinin görüntüsü düğmesiyle gösterilir.
DDL değişikliğiHedefe uygulaYoksayTabloyu askıya alGörevi durdurun
Sütun ekleEvetEvetEvetEvet
Sütun veri türünü değiştirEvetEvetEvetEvet
Sütunu yeniden adlandırEvetHayırEvetEvet
Tabloyu yeniden adlandırHayırHayırEvetEvet
Sütunu bırakEvetEvetEvetEvet
Tabloyu bırakEvetEvetEvetEvet
Tablo oluştur

Bir desenle eşleşen veri kümeleri eklemek için bir Seçim kuralı kullandıysanız desene uyan yeni tablolar algılanacak ve eklenecektir.

EvetEvetHayırHayır

Karakter yerine koyma

Hedef veritabanındaki kaynak karakterleri değiştirebilir ya da silebilirsiniz ve/veya seçilen bir karakter kümesi tarafından desteklenmeyen kaynak karakterleri değiştirebilir ya da silebilirsiniz.

Bilgi notu
  • Tüm karakterler Unicode kod noktaları olarak belirtilmelidir.

  • Karakter değiştirme işlemi Kontrol tabloları üzerinde de gerçekleştirilecektir.
  • Geçersiz değerler, tablo hücresinin sağ üst köşesinde kırmızı bir üçgenle gösterilir. Fare imlecinizi üçgenin üzerine getirdiğinizde hata mesajı görüntülenecektir.

  • Görev için tanımlanan tablo düzeyinde veya genel dönüşümler, karakter ikamesi tamamlandıktan sonra gerçekleştirilecektir.

  • Kaynak Karakterleri Değiştir veya Sil tablosunda tanımlanan ikame eylemleri, Seçili Karakter Kümesi Tarafından Desteklenmeyen Kaynak Karakterleri Değiştir veya Sil tablosunda tanımlanan ikame eyleminden önce gerçekleştirilir.

  • Karakter ikamesi LOB veri türlerini desteklemez.

Kaynak karakterleri değiştirme veya silme

Belirli kaynak karakterlerin yerine geçecekleri tanımlamak için Kaynak karakterleri değiştir veya sil tablosunu kullanın. Bu, örneğin bir karakterin Unicode gösteriminin kaynak ve hedef platformlarda farklı olduğu durumlarda yararlı olabilir. Örneğin, Linux'ta Shift_JIS karakter kümesindeki eksi karakteri U+2212 olarak gösterilir ancak Windows'da U+FF0D olarak gösterilir.

İkame eylemleri
BitişŞunu Yapın

İkame eylemlerini tanımlayın.

  1. Tablonun üzerindeki Karakter ekle düğmesine tıklayın.

  2. Kaynak karakter ve Yedek karakter alanlarında sırasıyla bir kaynak karakter ve bir hedef karakter belirtin.

    Örneğin "a" harfini "e" harfi ile değiştirmek için sırasıyla 0061 ve 0065 belirtin.

    Bilgi notu

    Belirtilen kaynak karakteri silmek için, İkame karakter sütununa 0 girin.

  3. Ek karakterleri değiştirmek veya silmek için 1-2 adımlarını tekrarlayın.

Belirtilen kaynak veya hedef karakteri düzenleme

Satırın sonundaki öğesine tıklayın ve Düzenle seçeneğini belirleyin.

Tablodan girişleri silme

Satırın sonundaki öğesine tıklayın ve Sil seçeneğini belirleyin.

Seçili karakter seti tarafından desteklenmeyen kaynak karakterleri değiştirme veya silme

Seçilen karakter kümesi tarafından desteklenmeyen tüm karakterler için tek bir yedek karakter tanımlamak üzere Karakter kümesine göre desteklenmeyen kaynak karakterler tablosunu kullanın.

Desteklenmeyen karakter değiştirme eylemleri
BitişŞunu Yapın

Bir ikame eylemi tanımlayın veya düzenleyin.

  1. Tablodaki Karakter kümesi açılır listesinden bir karakter kümesi seçin.

    Seçilen karakter kümesi tarafından desteklenmeyen tüm karakterler hedefte aşağıdaki 2. adımda belirtilen karakterle değiştirilecektir.

  2. İkame karakter sütununda, sütunda herhangi bir yere tıklayın ve ikame karakteri belirtin. Örneğin, desteklenmeyen tüm karakterleri "a" harfiyle değiştirmek için 0061 girin.

    Bilgi notu

    Desteklenmeyen tüm karakterleri silmek için 0 girin.

Değiştirme eylemini devre dışı bırakın.

Karakter Kümesi açılır listesinden boş girişi seçin.

Diğer seçenekler

Bu seçenekler yalnızca belirli sürümler veya ortamlarla ilgili olduklarından kullanıcı arayüzünde gösterilmez. Sonuç olarak, Qlik Desteği veya ürün belgelerinde bunu yapmanız açıkça istenmedikçe bu seçenekleri belirlemeyin.

Bir seçeneği ayarlamak için seçeneği Özellik adı ekle alanına kopyalayıp Ekle'ye tıklayın. Ardından, aldığınız talimatlara göre değeri ayarlayın veya seçeneği etkinleştirin.

Veri kümesi segmentlerini paralel olarak yükleme

Bilgi notuBu ayar SaaS uygulama kaynakları için kullanılamaz ve yalnızca kaynak ve hedef veritabanlarının belirli bir alt kümesi için kullanılabilir.

Tam yük sırasında veri kümesini paralel olarak yüklenecek segmentlere bölerek büyük veri kümelerinin yüklenmesini hızlandırabilirsiniz. Tablolar veri aralıklarına, tüm bölümlere, tüm alt bölümlere veya belirli bölümlere göre bölünebilir.

Daha fazla bilgi için şuraya bakın: Veri kümesi segmentlerini paralel olarak çoğaltma.

Görevleri zamanlama

Aşağıdaki kullanım durumlarında, hedefi kaynakta yapılan değişikliklerle güncellemek için bir zamanlama aralığı tanımlamanız gerekir:

  • Veri Hareketi ağ geçidi olmadan bir veri kaynağına erişme
  • Bir SaaS uygulama Önizleme bağlayıcısı kullanırken. Önizleme bağlayıcıları hem Bağlantı oluştur iletişim kutusunda hem de çevrimiçi yardımda bir Önizleme düğmesinin görüntüsü düğmesiyle gösterilir.
  • SAP OData kaynağından değişiklikleri Zamanlandığı gibi seçeneğini kullanarak yakalarken.

Zamanlama, hedef veri kümelerinin, kaynak veri kümelerindeki değişikliklerle ne sıklıkla güncelleneceğini belirler. Zamanlama, güncelleme sıklığını belirlerken veri kümesi türü, güncelleme yöntemini belirler. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) destekliyorsa yalnızca kaynak verilerindeki değişiklikler çoğaltılacak ve ilgili hedef tablolara uygulanacaktır. Kaynak veri kümeleri CDC'yi (Değişiklik verisi yakalama) desteklemiyorsa değişiklikler tüm kaynak verilerinin ilgili hedef tablolara yüklenerek uygulanacaktır. Kaynak veri kümelerinden bazıları CDC'yi destekliyor, bazıları desteklemiyorsa iki ayrı alt görev oluşturulacaktır (Değişiklikleri uygula olduğu veya Değişiklikleri sakla çoğaltma seçeneklerinin seçildiği varsayılır): Biri, CDC'yi desteklemeyen veri kümelerini yeniden yüklemek, diğeri CDC'yi desteklemeyen veri kümelerindeki değişiklikleri yakalamak içindir. Bu durumda, veri tutarlılığını sağlamak üzere her iki görev için de aynı zamanlama aralığını sürdürmemeniz kesinlikle tavsiye edilir (gelecekte güncelleme sıklığını değiştirmeye karar verirseniz).

Veri kaynağı türü ve abonelik kademesine göre minimum zamanlama aralıkları hakkında bilgi için bkz. İzin verilen minimum zamanlama aralıkları.

Zamanlamayı değiştirmek için:

  1. Projenizi açın ve ardından aşağıdakilerden birini yapın:

    • Görevler görünümündeki bir çoğaltma görevinde 3 yatay nokta içeren menü düğmesi. öğesine tıklayın ve Zamanlama'yı seçin.
    • İşlem hattı görünümündeki bir çoğaltma görevinde 3 dikey nokta içeren menü düğmesi. öğesine tıklayın ve Zamanlama'yı seçin.
    • Çoğaltma görevini açın ve Zamanlama araç çubuğu düğmesine tıklayın.
  2. Zamanlama ayarlarını gereken şekilde değiştirin ve ardından Tamam'a tıklayın.
Bilgi notuBir sonraki planlanan çalıştırma başlamak üzereyken hala bir çoğaltma görevi çalışıyorsa görev tamamlanana kadar sonraki planlanan çalıştırmalar atlanır.

Veri Hareketi ağ geçidi temel alınarak bir görev için kaçırılan bir çalıştırmayı yürütme

Bazen bir ağ sorunu Veri Hareketi ağ geçidi bağlantısının kaybolmasına neden olabilir. Veri Hareketi ağ geçidi bağlantısı bir sonraki zamanlanmış çalıştırmadan önce geri yüklenmezse veri görevi zamanlandığı gibi çalışamayacaktır. Bu gibi durumlarda, bağlantı yeniden kurulduktan sonra bir çalıştırmanın hemen yürütülüp yürütülmeyeceğini seçebilirsiniz.

Tüm Veri Hareketi ağ geçidi'ler için varsayılan ayarlar Yönetim etkinlik merkezinde tanımlanır. Bu ayarları, aşağıda açıklandığı gibi bireysel görevler için geçersiz kılabilirsiniz.

Bunu yapmak için

  1. Projenizi açın ve ardından aşağıdakilerden birini yapın:

    • Görevler görünümündeki veri görevinde 3 yatay nokta içeren menü düğmesi. öğesine tıklayın ve Zamanlama'yı seçin.

    • İşlem hattı görünümündeki veri görevinde 3 dikey nokta içeren menü düğmesi. öğesine tıklayın ve Zamanlama'yı seçin.

    • Veri görevini açın ve Zamanlama araç çubuğu düğmesine tıklayın.

    The Zamanlama - <task> iletişim kutusu açılır.

  2. Bu görev için özel ayarlar kullan'ı açın.

  3. İletişim kutusunun altında, aşağıdaki Kaçırılan zamanlanmış görevleri çalıştır seçeneklerinden birini seçin.

    • Bir görevi bir sonraki zamanlanmış örnekten önce çalıştırmak önemliyse Mümkün olan en kısa sürede ve ardından zamanlandığı gibi

    • Görevi bir sonraki zamanlanmış örnekte çalıştırmak için Zamanlandığı gibi

  4. Ayarlarınızı kaydedin.

Ayrıca bk. Kaçırılan bir zamanlamadan sonra bir görev çalıştırmasını yürütme.

Bu sayfa size yardımcı oldu mu?

Bu sayfa veya içeriği ile ilgili bir sorun; bir yazım hatası, eksik bir adım veya teknik bir hata bulursanız lütfen bize bildirin!