Yükseltme ve kaldırma: Veri Hareketi ağ geçidi

Genişletilmiş Paralel Yükleme desteği

Paralel Yükleme özelliği artık Databricks hedefini desteklemektedir.

Veri kümesi segmentlerini paralel olarak çoğaltma

DDL History kontrol tablosu: Yeni desteklenen hedefler

attrep_ddl_history (DDL History) kontrol tablosu, hedef çoğaltma sırasında kaynakta meydana gelen DDL değişikliklerinin bir hikayesini içerir.

Aşağıdaki hedef uç noktaları artık desteklenmektedir:

• Google BigQuery
• Google Cloud Alloy DB for PostgreSQL
• Google Cloud SQL for PostgreSQL
• PostgreSQL (şirket içinde)

DDL geçmişi

“[header]__change_mask” başlık sütununda iyileştirme

Parquet biçimiyle Değişiklik Tabloları kullanılırken, [header]__change_mask başlık sütunu, baytları ters sırada depolama little endian kuralına uymak için artık sıfırları sola (sağa yerine) doldurur.

Etkilenen hedef uç noktalar:

• Amazon S3

• Google Cloud Storage

Değişiklik Tabloları

Yeni desteklenen veri kaynağı ve hedef sürümleri

• Kafka hedefi: 4.0.x

• IBM z/OS kaynağı: 3.2

Yeni desteklenen sürücü sürümleri

• Microsoft ODBC Sürücüsü 18.5
• MySQL 8.4

Microsoft Azure Database for MySQL ve Microsoft Azure Database for PostgreSQL için kullanım ömrü sonu

Microsoft tarafından resmi olarak kullanımdan kaldırılan Microsoft Azure Database for MySQL ve Microsoft Azure Database for PostgreSQL desteği sonlandırılmıştır.

Kullanım ömrü sonu veri kaynağı ve hedef sürümleri

• Databricks hedefi: 10.4 LTS ve 11.3 LTS

• MariaDB kaynak ve hedef: 10.5

• PostgreSQL kaynak ve hedef: 13.x

• MySQL kaynak ve hedef: 8.1

Kullanım ömrü sonu sürücü sürümleri

• Microsoft ODBC Sürücüsü 18.3

Çözülen sorunlar

• SAP (Application) kaynağı

  Kendi kendini işleyen olaylar oluşturan bir arka uç işlemiyle bir SAP (Application) kaynağı kullanacak şekilde yapılandırılan görevler, bazen bir tabloyu yeniden yükledikten sonra çöküyordu.

• Microsoft Azure SQL Database hedefi

  Homojen çoğaltmada, "İşlemsel uygulama" modunda veya bire bir moda geçen "Toplu İşlem İçin Optimize Edilmiş Uygulama" modunda çalışırken, hedefte bir DATETIME sütunu birincil anahtarın parçası olduğunda "0 satır etkilendi" hatası oluşuyordu.

• Oracle kaynağı

  Bir tablo uzun bir ham sütun içerdiğinde ve maksimum lob boyutu 64K'dan büyük veya buna eşit olduğunda Oracle Görevi Tam Yüklemede çöküyor.

• SAP Extractor kaynağı - CDC iptali nedeniyle boşaltma döngüsü

  Bir tablo yeniden yüklemesi sırasında, uzun süren SAP CDC işleri bazen iptal edilir. Bu, boşaltmanın hiçbir zaman tamamlanmadığı kurtarılabilir bir hata durumuyla sonuçlanıyordu.

• Güvenlik

  Aşağıdaki bileşenler bilinen güvenlik açıkları nedeniyle yükseltildi:

  • JRE 17.0.17 sürümünden 17.0.18 sürümüne yükseltildi

  • org.eclispe.jetty:jetty-io 11.0.25 sürümünden 11.0.26 sürümüne yükseltildi

  • org.apache.logging.log4j:log4j-core 2.23.1 sürümünden 2.25.3 sürümüne yükseltildi

• SAP ODP

  Bir tablo için bir filtre tanımlandığında CDC sırasında aşağıdaki hata oluşuyordu:

  Invalid value for parameter "I_DIMNAME"

• SAP extractor

  Tablolardan biri Yükleniyor durumundayken görev durdurulur ve devam ettirilirse Delta çalışmayı durduruyordu.

• SaaS uygulama kaynağı (Workday Reports)

  • Tam Yükleme sırasında, S3 hazırlama klasörüne bağlanırken görev bazen aşağıdaki hatayla başarısız oluyordu:

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    Sorun, ilk bağlantı başarısız olduğunda S3 klasörüne bağlanmak için çoklu yeniden deneme mekanizması uygulanarak çözüldü.

  • Şema zaten mevcut olduğunda bile CREATE SCHEMA ayrıcalığı gerekiyordu.

• Microsoft SQL Server hedefi

  Görev ayarlarında LOB boyutu sınırsız olarak ayarlandığında, LOB sütunlarında bazen veri kaybı oluşuyor ve CDC sırasında yanlış veri çoğaltması meydana geliyordu.

• PostgreSQL hedefi

  CSV dosyasının Net Değişiklikler tablosuna yüklenememesi, bire bir uygulamaya geçmek yerine kurtarılabilir bir hata (sonsuz bir döngüyle sonuçlanan) döndürüyordu.

• MySQL'den MySQL'e çoğaltma

  Kaynak ve hedefin şeması aynı MySQL örneğinde olduğunda ve çoğaltma bir kontrol tablosu içerdiğinde, görev bazen "Process crashed with signal 11" hatasıyla çöküyordu.

• PostgreSQL kaynağı

  CDC sırasında, görev bazen aynı WAL girişlerini tekrar tekrar okuyor ve bu da hiçbir verinin yakalanmamasına neden oluyordu.

• Microsoft SQL Server kaynağı

  • Şifrelenmiş bloklar içeren bir işlem günlüğü açılırken bir hata oluşuyordu. Sorun, bu gibi durumlarda günlüğün sıkıştırılmış olarak bırakılmasıyla çözüldü.

  • Mevcut dosyalar için gereksiz bir doğrulama kontrolü nedeniyle, alternatif bir yedekleme klasörü kullanıldığında gereksiz hatalar gösteriliyordu.

  • Görev bazen DBCC Lookup çağrısından sonra çöküyordu.

Kafka hedef bağlayıcısı için destek

Veri Hareketi ağ geçidi uygulamasının yeni sürümü, Kafka hedef bağlayıcısı için destek sunar. Verilerinizi desteklenen herhangi bir kaynaktan doğrudan şirket içi Kafka veya Amazon MSK'ya zahmetsizce çoğaltarak uygulamalarınızı çevik ve bilgili tutan güvenilir, hataya dayanıklı aktarımlar sağlayın. İster sistemler arasında veri tutarlılığını koruyor olun ister analizleri besliyor olun, bu bağlayıcı minimum kurulumla düşük gecikmeli çoğaltma sunar.

Daha fazla bilgi için bkz. Kafka Hedef

Çözülen sorunlar

• MySQL kaynağından MySQL hedefine çoğaltma görevi hatası

  Bir veri kümesini bir MySQL şemasından aynı MySQL sunucusu örneğinde çalışan farklı bir MySQL şemasına çoğaltırken ve çoğaltmaya bir Kontrol tablosu dahil ederken, CDC aşağıdaki hatayla başarısız oluyordu:

  Process crashed with signal 11

• SAP Extractor bağlayıcısı: Bir göreve devam edilirken tablo askıya alındı

  Bir tablo hala tam yükte iken bir göreve devam edilmesi, çıkarma işinin başarısız olmasına ve tablonun askıya alınmasına neden oluyordu.

Çözülen sorunlar

• PostgreSQL hedefi - Yanlış hata davranışı

  CSV dosyasının Qlik Net Değişiklikler tablosuna yüklenememesi, bire bir uygulamaya geçmek yerine kurtarılabilir bir hata (sonsuz bir döngüyle sonuçlanan) döndürüyordu.

• SaaS uygulama Lite bağlayıcıları

  Tam Yükleme sırasında, bağlantının Amazon tarafından aktif olarak reddedilmesi nedeniyle görevler bazen aşağıdaki hatayla başarısız oluyordu:

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  Sorun, hata oluşmadan önce maksimum üç yeniden deneme içeren bir yeniden deneme mekanizması uygulanarak çözüldü.

• Microsoft SQL Server kaynağı - Günlük açma hatası

  Şifrelenmiş bloklar içeren bir işlem günlüğü açılırken bir hata oluşuyordu. Sorun, bu gibi durumlarda günlüğün sıkıştırılmış olarak bırakılmasıyla çözüldü.

• Netsuite Suite Analytics kaynağı - CDC devam etme hatası

  Kaynağa bir değişiklik yaptıktan sonra bir CDC görevine devam ederken, görev bazen aşağıdaki hatayla başarısız oluyordu:

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Microsoft SQL Server kaynağı - Yanlış hatalar

  Mevcut dosyalar için gereksiz bir doğrulama kontrolü nedeniyle, alternatif bir yedekleme klasörü kullanıldığında gereksiz hatalar gösteriliyordu.

Databricks birincil anahtar desteği

Bu sürümden itibaren, veri görevi hedef Databricks Delta tablolarında RELY anahtar sözcüğünü kullanarak bir birincil anahtar oluşturacaktır. Databricks birincil anahtar kısıtlamalarını uygulamazsa da RELY anahtar sözcüğüne sahip birincil anahtarların çoğaltma içermediği varsayılır ve bu nedenle Databricks tarafından sorgu optimizasyonu için kullanılabilir.

Gereksinimler:

• Bağlayıcı ayarlarında bir Katalog seçmelisiniz.

• Databricks 14.2 veya üzeri

Veri türü geliştirmeleri

• IBM DB2 for iSeries kaynağı: Aşağıdaki veri türleri için destek eklenmiştir: BINARY-DECIMAL ve ZONED-DECIMAL

• Databricks hedefi: Önceki sürümlerde BYTES, STRING ile eşlenmişti. Bu sürümden itibaren, VARCHAR (Bayt Cinsinden Uzunluk) ile eşlenecektir.

• Google Cloud BigQuery hedefi: JSON alt türü artık Google Cloud BigQuery hedefi tarafından desteklenmektedir.

PostgreSQL tabanlı kaynak: Bölümlenmiş tablolar artık varsayılan olarak destekleniyor

PostgreSQL tabanlı veri kaynaklarından bölümlerin ve alt bölümlerin (ve alt-alt bölümlerin) çoğaltılması (Tam Yükleme ve CDC) artık varsayılan olarak destekleniyor.

Google Cloud BigQuery hedefi: Veri kesme hatası işleme desteği

Google Cloud BigQuery hedefi artık veri kesme hatası işlemeyi destekliyor. Bir veri kesme hatası oluşursa kaydı istisnalar kontrol tablosuna kaydetmeyi (varsayılan), kaydı yok saymayı, tabloyu askıya almayı veya görevi durdurmayı seçebilirsiniz.

Yeni desteklenen sürümler

Aşağıdaki kaynak ve hedef uç noktası sürümleri artık desteklenmektedir:

• MariaDB (şirket içi) ve Amazon RDS for MariaDB: 11.4

• MySQL (şirket içi), MySQL Percona, Google Cloud SQL for MySQL, Amazon RDS for MySQL ve Microsoft Azure Database for MySQL - Flexible Server: 8.4

• PostgreSQL (şirket içi), Google Cloud SQL for PostgreSQL, Amazon RDS for PostgreSQL ve Microsoft Azure Database for PostgreSQL - Flexible Server: 17.x

Yeni desteklenen sürücü sürümleri

IBM Data Server Client 11.5.9 artık aşağıdaki DB2 kaynakları için desteklenmektedir:

• IBM DB2 for LUW

• IBM DB2 for z/OS

Kullanım ömrü sonu kaynak ve sürücü sürümleri

• Kullanım ömrü sonu kaynakları ve hedefleri: Microsoft tarafından resmi olarak kullanımdan kaldırılan Microsoft Azure Database for MySQL ve Microsoft Azure Database for PostgreSQL desteği sonlandırılmıştır.

• Kullanım ömrü sonu kaynak sürümleri: Kullanım ömrü sonu olan IBM DB2 for iSeries 7.2 desteği sonlandırılmıştır.

• Kullanım ömrü sonu sürücü sürümleri: IBM Data Server Client 11.5.6 desteği sonlandırılmıştır.

Çözülen sorunlar

• HSTS desteği

  HSTS, Qlik Data Gateway - Veri Hareketi makinesinde etkinleştirilmemişti.

• Veri Hareketi ağ geçidi Kurulum hatası

  Veri Hareketi ağ geçidi uygulamasının Redhat Sürüm 9.7 üzerine kurulumu "OPENSSL_3.4.0 not found" hatasıyla başarısız oluyordu.

• PostgreSQL 15.7 Kaynağı - CDC sırasında veri yakalanmadı

  CDC sırasında, görev aynı WAL girişlerini okumaya ve aynı akış konumunu işlemeye devam ediyordu.

• SAP ODP - CDC hatası

  Bir CDC görevi değişiklikler sırasında durduktan sonra (örneğin bir bağlantı sorunu nedeniyle), göreve devam edilmesi bazen satır uzunluğu hatalarına neden oluyordu.

• Eksik kaynak bağlantı günlükleri

  Önizleme veya Lite bağlayıcısı kullanan bir görevi çalıştırdıktan sonra kaynak bağlantı günlükleri kullanılamıyordu.

• İzleme - Eksik bilgi

  Bir Tam Yükleme ve CDC görevinin CDC aşamasında bir tablo askıya alındığında İzleyici sekmesi bir hata mesajı göstermiyordu.

Databricks üzerinde bilgi pazarları oluşturma desteği

Daha önce bilgi birikimi ambarları yalnızca Snowflake üzerinde destekleniyordu. Artık bilgi birikimi ambarlarını ve dosya tabanlı bilgi birikimi ambarlarını Databricks üzerinde de oluşturabilir ve çalıştırabilirsiniz.

Çözülen sorunlar:

Görevler hazırlık sırasında aralıklı olarak aşağıdaki hatayla başarısız oluyordu:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Çözülen sorunlar:

metadataschema Internal özelliği özel karakterlerle tanımlandığında, görev CDC sırasında başarısız oluyordu.

Çözülen sorunlar:

• EU-Central-1 bölgesindeki üretim uyarıları

  EU-Central-1 bölgesindeki müşteriler, Veri Hareketi ağ geçidi kullanırken sık sık üretim uyarıları alıyordu.

• Jira veri kaynağı: Takılı kalan tablo

  Jira'dan veri çoğaltılırken, diğer tablolar başarıyla yüklenirken USERS tablosu ilk çalıştırmada Kuyrukta durumunda takılı kalıyordu.

• İzleme sorunu

  CDC izleme, görev monitöründe eksikti.

• Oracle'dan Oracle'a çoğaltma hatası

  Oracle'dan Oracle'a çoğaltma görevleri, dize uzunluğunun yanlış hesaplanması nedeniyle bazen başarısız oluyordu.

• Güvenlik

  Java sunucu bileşeni (sqlite-jdbc), önceki sürümlerdeki bilinen bir güvenlik açığı nedeniyle 3.47.0 sürümüne güncellendi.

• Bir görevi başlatırken hata

  Bir görev daha önce başlatılmadan ilk kez devam etme modunda başlatıldığında bazen "No license for database" hatası oluşuyordu.

• Yeni veri kümeleriyle Salesforce bağlayıcısı sorunu

  Salesforce veri kaynağına sahip bir yerleştirme görevine yeni veri kümeleri eklemek, görevin "'Table doesn't exist'" hatasıyla başarısız olmasına neden oluyordu.

Çözülen sorunlar:

• Depolama görevleri bağlantı hatası

  Depolama görevleri, ağ geçidinin yeniden başlatılmasını gerektiren bir bağlantı hatasıyla başarısız oluyordu.

• DB2 sürücü kurulum hatası

  /tmp klasörüne erişim kısıtlandığında DB2 sürücü kurulumu başarısız oluyordu.

• Qlik Cloud için aşırı bağlantı süresi

  Veri Hareketi ağ geçidi 2024.11.65 sürümüne yükselttikten sonra, Qlik Cloud bağlantısı aşırı miktarda zaman alıyordu. Sorun, iki dakikalık zaman aşımına sahip bir iptal belirteci eklenerek çözüldü.

• Yükseltmeden sonra hizmet çöktü

  Veri Hareketi ağ geçidi 2024.11.67 sürümüne yükselttikten sonra, /tmp klasöründeki erişim kısıtlamaları nedeniyle external-data-provider hizmeti (Lite bağlayıcıları tarafından kullanılır) çöktü.

• Güvenlik düzeltmeleri

  Aşağıdaki bileşenler bilinen güvenlik açıkları nedeniyle daha yeni sürümlerle değiştirildi:

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Bilgi pazarları - Dosya Paylaşımı (SMB)

  SMB'ye bağlanma aşağıdaki hatayla başarısız oluyordu:

  SmbConnection' object has no attribute 'docs_path'

• Hazırlama hatası

  Bir görevi ikinci kez hazırlarken ve ilk hazırlıktan sonra bir DDL oluştuğunda, hazırlama işlemi bazen aşağıdaki hatayla başarısız oluyordu (alıntı):

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Veri önizleme sorunu

  Bir Microsoft SQL Server hedefi kullanıldığında veri önizleme seçeneği çalışmıyordu.

Geliştirmeler:

• Qlik Cloud Government DoD için destek eklendi

  Bu sürüm, Veri Hareketi ağ geçidi uygulamasının Qlik Cloud Government DoD ile kullanılması için destek ekler.

Geliştirmeler:

• Tablo hata işleme ilkesinin ne zaman tetikleneceğini kontrol etme

  Çoğaltma ve yerleştirme görevleri için tablo hata işleme ayarlarına yeni bir Bir tablo hatası döndürmeden önceki yeniden deneme sayısı ayarı eklendi. Önceden, bir tablo hatası oluştuğunda tablo askıya alınıyor veya görev durduruluyordu (seçilen hata işleme eylemine göre). Bu bazen SaaS uygulaması bakım penceresi sırasında tabloların askıya alınmasına neden oluyordu. Bu yeni seçenekle, tablo hata işleme ilkesi tetiklenmeden önce tablonun kaç kez yeniden denenmesi gerektiğini belirlemek artık mümkündür. Bu seçenek, SaaS uygulamanız periyodik bakımdan geçiyorsa özellikle yararlıdır, çünkü bakımın tablo hata işleme ilkesini tetiklemeden tamamlanabilmesi için varsayılan yeniden deneme sayısını (3) geçersiz kılabilirsiniz.

  Tablo hata işleme

  Bilgi notuBu seçenek yalnızca bir Lite veya Standart SaaS uygulama bağlayıcısı ile yapılandırılmış görevler için gösterilecektir.

• Veri önizleme artık sütun veri türlerini içeriyor

  Bir SQL dönüşümünü önizlerken, sonuçlar artık sütun veri türlerini içerecektir.

  Verileri önizleme

Geliştirmeler:

• Çoğaltma günlük dosyalarının devredilmesi ve temizlenmesi

  Ağ geçidi makinesindeki çoğaltma günlük dosyaları için bir devretme ve temizleme ilkesi uygulandı. Devretme ilkesi, günlük dosyalarının çok büyümesini (bu durum performansı ve analizi etkiler) önlerken, temizleme ilkesi bunların birikmesini ve aşırı disk alanı tüketmesini önleyecektir.

Çözülen sorunlar:

• Yeniden yüklemeden sonra yanlış tablo durumu

  Askıya alınmış bir tabloyu yeniden yüklerken, monitörde gösterilen tablo durumu bazen yanlış oluyordu.

• Hazırlama işlemi zaman aşımına uğruyor

  Bir veri kümesi ekledikten sonra bir yerleştirme görevini hazırlarken, varlıkları kataloglama aşamasında bazen bir zaman aşımı oluşuyordu. Bu, Hazırlama işleminin başarısız olmasına neden oluyordu.

Bu yama aşağıdaki sorunları çözer:

• Yeni bir tablo eklerken hazırlama hatası

  Bir çoğaltma görevine yeni bir tablo eklerken ve Hazırla seçeneğine tıklarken bazen aşağıdaki hata oluşuyordu:

  Prepare data task failed: Object reference not set to an instance of an object.

• Çözülen güvenlik açıkları

  Aşağıdaki Veri Hareketi ağ geçidi kurulum dosyaları bilinen güvenlik açıkları olmayan sürümlere güncellendi:
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

Bu yama aşağıdaki sorunları çözer:

• IBM DB2 for LUW bağlantı hatası

  Veri Hareketi ağ geçidi 2024.11.54 sürümüne yükselttikten sonra veritabanına bağlanma başarısız oluyordu.

• Hazırlama hatası

  Görev bir SaaS uygulama kaynağı ve bir Google BigQuery hedefi ile yapılandırıldığında veri görevini hazırlama başarısız oluyordu.

• Java tabanlı kaynaklara sahip görevler yükseltmeden sonra başarısız oluyor

  Java tabanlı veri kaynaklarına sahip görevler, Veri Hareketi ağ geçidi 2024.11.54 sürümüne yükselttikten sonra başarısız oluyordu.

• Snowflake hedefi: Görevler CDC sırasında bazen "bire bir" moda geçiyordu

  CDC sırasında, bir kaynak tablodaki bir STRING sütunu 65536 baytı aştığında, veriler hedef STRING sütununda kesiliyordu. Görev daha sonra "bire bir" uygulama moduna geçiyordu.

• Güvenlik

  java_file_factory.jar ve arep-google-cloud.jar dosyaları bilinen güvenlik açıkları olmayan sürümlere yükseltildi.

Bu yama aşağıdaki sorunları çözer:

• Tam yükleme görev ayarlarını yok sayıyor

  Tam yükleme sırasında, görev Hedef tablo zaten varsa: Yoksay ile yapılandırılmış olmasına rağmen hedef tabloları bırakıyor ve yeniden oluşturuyordu

• Yanlış kayıt sayısı

  Çoğaltma modu tam yükleme ve değişiklikleri uygulama olarak ayarlanmış mevcut bir çoğaltma görevini durdurup hazırladıktan sonra, CDC işlenen kayıt sayısı artıyor ve bu da yanlış bir sayımla sonuçlanıyordu.

• JIRA kaynak bağlayıcısı

  Mevcut bir göreve yeni bir veri kümesi eklendiğinde, görev aşağıdaki hatayla başarısız oluyordu:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Bağlantı testi hatası

  SAP ve SQL tabanlı kaynaklara bağlantı testi başarısız oluyordu.

• Yükseltme

  Ağ geçidini yükselttikten sonra, görevler bazen beklendiği gibi devam etmiyordu.

Snowpipe Streaming desteği

Önceden, Snowflake'e veri yüklemek için kullanılabilen tek yöntem Toplu yükleme idi. Artık müşteriler, verilerini Snowflake'e aktarmak veya çoğaltmak için Toplu yükleme'yi ya da Snowpipe Akışı'nı kullanabilir.

Snowpipe Akışı'nın Toplu yükleme'ye göre avantajları şunlardır:

• Daha az maliyetli: Snowpipe Akışı, Snowflake deposunu kullanmadığından, işletim maliyetleri önemli ölçüde daha ucuz olmalıdır, ancak bu sizin özel kullanım durumunuza bağlı olacaktır.
• Daha az gecikme süresi: Veriler doğrudan hedef tablolara aktarıldığından (hazırlama yerine), veri kaynağından hedefe çoğaltma daha hızlı olmalıdır.

Çözülen sorunlar

Bu yama aşağıdaki sorunları çözer:

• Microsoft Fabric: Bağlantı sorunu

  Microsoft Fabric bağlayıcısını kullanarak veritabanlarına göz atarken aşağıdaki hata oluşuyordu (alıntı):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Sorun, sürücü kurulum yardımcı programıyla yüklenen 12.9.0-preview.jar JDBC sürücüsüyle olan bir uyumsuzluktan kaynaklanıyordu. Yardımcı program artık uyumlu bir sürücü yükleyecek şekilde güncellendi.

• Java sunucusu yeniden başlatma hatası

  Veri Hareketi ağ geçidi yükseltildikten veya Veri Hareketi ağ geçidi hizmeti yeniden başlatıldıktan sonra, Java sunucusu (SAP ODP gibi Java tabanlı bağlayıcılar için gereklidir) başlatılamıyordu.

• Güvenlik sıkılaştırması

  • Qlik Cloud Yönetim etkinlik merkezinden müşteri tarafından barındırılan günlükleri döndüren günlük kaydı komut yükleri için uçtan uca şifreleme karşılıklı olarak zorunlu kılınmıyordu.

  • Veri Hareketi ağ geçidi tarafından kullanılan SQLite sürümü, 3.42.0 sürümündeki bir güvenlik açığı nedeniyle yükseltildi (CVE-2023-7104).

  • Veri Hareketi ağ geçidi tarafından kullanılan com.h2database dosyası, h2-2.1.212 sürümündeki bir güvenlik açığı nedeniyle yükseltildi (CVE-2022-45868).

Bu yama, bir IBM DB2 for iSeries veri kaynağından veri taşırken oluşan aşağıdaki sorunu çözer:

iSeries Access ODBC Sürücüsü 07.01.026 veya daha yeni bir sürüm kullanıldığında, görev CDC sırasında "Error parsing" hatasıyla başarısız oluyordu.

Standart

Databricks hedefi için OAuth desteği

Müşteriler artık Databricks'in hesap kimlik doğrulaması için önerdiği yöntem olan OAuth kimlik doğrulamasını kullanarak Databricks hedefine bağlanabilirler. Kişisel Erişim Belirteci kimlik doğrulaması şimdilik geriye dönük uyumluluk için kullanılabilir durumda kalacaktır, ancak OAuth'tan daha az güvenli olduğu düşünülmektedir.

Çözülen sorunlar

• Paralel yükleme sorunu

  Bir veri kümesi paralel yükleme ile tanımlandığında ve ardından tam yükleme devre dışı bırakıldığında, görev zaman damgasından devam ettirildiğinde bile o veri kümesinin tam yüklemesini gerçekleştirmeye devam ediyordu.

2024.11.24

Yama

Bu yama aşağıdaki sorunları çözer:

• SAP ODP kaynağı: Meta veri oluşturma hatası

  Adında nokta bulunan tablolar için (ör. Deprec.Area) meta veri oluşturma işlemi tamamlanamıyordu.

• Görev kurtarma

  Görevler, çevresel bir sorun nedeniyle tam yükleme sırasında başarısız olurlarsa yalnızca bir kez kurtarılıyordu. Artık Ayarlar > Hata işleme > Çevresel hatalar > Maksimum yeniden deneme sayısı bölümünde yapılandırılan sayı kadar kurtarılacaklar.

Geliştirmeler

PostgreSQL yük devretme sertifikası

Yük devretmeden sonra ikincil bir veritabanı ile çalışmak aşağıdaki veri kaynakları ile onaylanmıştır (hepsine PostgreSQL kaynak bağlayıcısı kullanılarak erişilebilir):

• Google Cloud SQL for PostgreSQL
• Amazon RDS for PostgreSQL
• PostgreSQL (şirket içinde)

Ayrıca bkz: Yük devretmeyi ayarlama

MySQL performans iyileştirmesi

Önceki sürümlerde, sınırlı LOB boyutu ile yapılandırılmış bir görevde MySQL tabanlı bir kaynak uç noktası kullanıldığında Veri Hareketi ağ geçidi, LOB sütunlarını okumak için kaynak aramayı kullanıyordu. Şimdi Veri Hareketi ağ geçidi, LOB sütunlarını doğrudan binlog'dan okuyacak ve böylece performansı artıracaktır.

Veri türü eşlemesindeki değişiklikler

Amazon Redshift ve Snowflake hedefi için LOB sütunlarına eşlemeler değiştirildi.

Amazon Redshift hedefi

• BLOB artık VARBYTE(16777216) ile eşlenmiştir
• NCLOB artık NVARCHAR(65535) ile eşlenmiştir
• CLOB artık NVARCHAR(65535) ile eşlenmiştir

Snowflake hedefi

• BLOB artık BINARY (8388608) ile eşlenmiştir
• NCLOB artık NVARCHAR(16777216) ile eşlenmiştir
• CLOB artık VARCHAR(16777216) ile eşlenmiştir

Yeni desteklenen veri türleri

• LUW için IBM DB2 kaynağı

  Artık BOOLEAN veri türünü desteklemektedir (LUW için DB2 11.5 sürümünden itibaren).

• Google BigQuery hedefi

  Artık BIGNUMERIC veri türünü desteklemektedir.

DDL Geçmiş kontrol tablosu için genişletilmiş hedef desteği

Önceki Veri Hareketi ağ geçidi sürümlerinde DDL Geçmişi kontrol tablosu yalnızca Databricks ve Microsoft Fabric hedefleriyle destekleniyordu. Bu sürüm aşağıdaki ek hedef bağlayıcıları için destek sunar:

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

Ayrıca bakınız: DDL geçmişi

PostgreSQL için Google Cloud SQL ile süper kullanıcı olmayan bir kullanıcı kullanma desteği

Bu sürümden itibaren, PostgreSQL için Google Cloud SQL'den çoğaltma yaparken artık süper kullanıcı olmayan bir hesap belirtmek mümkündür

Ayrıca bkz: Süper kullanıcı rolü olmadan bir hesabı kullanma

Yeni onaylanan platformlar ve sürücü sürümleri

• Databricks hedefi

  15.4 LTS

• Oracle kaynağı ve hedefi

  23ai

  Bilgi notu

  • Oracle 23ai kaynağı ve hedefi yalnızca Oracle Standard Edition ile onaylanmıştır.
  • Oracle 23ai kaynağı yalnızca TDE şifrelemesi ile desteklenir.

• Databricks sürücü güncellemesi

  Verileri Databricks'e taşırken artık Simba Spark ODBC Driver 2.8.2 veya sonraki sürümü gereklidir. Müşteriler ya sürücü yükleme yardımcı programını çalıştırmalı ya da sürücüyü manuel olarak yüklemelidir.

  Ayrıca bkz.: Sürücü kurulumu

Destek sonu

Aşağıdaki veritabanı sürümleri için destek kesilmiştir:

• PostgreSQL 12.x
• z/OS için IBM DB2: z/OS 2.4
• Databricks 9.1

Çözülen sorunlar

• SAP HANA (Veritabanı) bağlayıcısı: __CT tablosu oluşturulamıyor

  Çoğaltma modu Değişiklikleri Sakla olarak ayarlandığında ve tablo bir .INCLUDE sütunu içerdiğinde görev, hedefte __CT tablosunu oluşturmada başarısız oluyordu.

• Göl yerleştirme görevi: Yanıltıcı hata

  Azure Data Lake Storage parola anahtarının süresi dolduğunda görev başarısız olur ve "Veritabanı için lisans yok" hatası gösterilir.

• Amazon S3 hedef bağlayıcısı: Eski dosyalar silinmiyor

  Yeni bir görev çalıştırıldığında eski dosyalar silinmez. Bu, görevin yinelenen kayıtlar veya eşleşmeyen kayıtlar nedeniyle başarısız olmasına neden olabilir.

   

• SAP HANA (Veritabanı) kaynağı: Kullanıcı tanımlı bir tablo nedeniyle bağlantı hatası

  Çoğaltma için kullanıcı tanımlı bir tablo seçerken "özellik desteklenmiyor: kullanıcı tanımlı tür seçilemiyor" hatası oluşuyordu. Sorun, kullanıcı tanımlı tabloların (desteklenmeyen) tablo seçiciden hariç tutulmasıyla giderildi.

• Microsoft Fabric hedef bağlayıcısı: Kurtarma hatası

  CDC sırasında oluşan bir bağlantı hatasından kurtulduktan sonra bazen "Dönüştürme başarısız oldu" hatası oluşabiliyordu.

• Databricks hedef bağlayıcısı: LOB desteği olmadan çalışırken CDC hatası

  LOB desteği devre dışı bırakıldığında, CDC değişikliği __ct tablosuna eklemeye çalışırken "yeterli veri sütunu yok" hatası veriyordu. Bu hata, yerleştirme görevleri için kullanılabilen tek mod olan "Değişiklikleri Sakla" modunda çalışırken ortaya çıkıyordu.

• MySQL kaynağından Snowflake hedefine: CDC hatası

  CDC sırasında, mediumtext veri türüne sahip bir "NOT NULL" sütunu çoğaltılırken görev bazen aşağıdaki hatayla başarısız oluyordu:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Microsoft Fabric hedef bağlayıcısı: Kesme hatası

  Bir VARCHAR sütunu eklenirken aşağıdaki kesme hatası oluşuyordu:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Sorun, Microsoft Fabric'te VARCHAR sütunu çarpılarak çözüldü.

Yeni özellikler

Snowflake hedef bağlayıcısına ek ODBC ve JDBC bağlantı özellikleri belirleme desteği eklendi.

Daha fazla bilgi için bkz. Ek bağlantı özellikleri.

Çözülen sorunlar

• Meta veriler güncellenmiyor

  Kaynakta bir birincil anahtar değiştirildiğinde, yeniden yüklemeden sonra hedef meta verileri güncellenmiyordu.

• Amazon S3 hedefi

  Yeni bir görev oluşturup çalıştırırken, önceki görevlerden kalan dosyalar tabloların konumundan silinmiyordu.

• SAP HANA kaynağı

  Günlük tabanlı CDC kullanarak bir SAP HANA kaynağına bağlanmaya çalışmak aşağıdaki hatayla sonuçlanıyordu:

  Cannot select user-defined type

2024.5.41

Yama

Bu yama aşağıdaki sorunları çözer:

• Amazon S3, Google Cloud Storage ve Qlik Cloud hedefleri: Boş dize değerlerini alıntılama

  Boş dizeler, NULL değerlerinden ayırt edilmeleri için artık CSV dosyasında tırnak içine alınacaktır.

• Databricks hedefi: Veri uyuşmazlığı

  Belirli senaryolarda kaynak ve hedef veriler arasında bir uyuşmazlık oluşuyordu.

• Databricks hedefi: LOB desteğinin devre dışı bırakılmasından kaynaklanan CDC hatası

  Yerleştirme görevinde LOB desteğini devre dışı bırakmak, CDC'nin aşağıdaki hatayla başarısız olmasına neden oluyordu (alıntı):

  Cannot write to '<name>__ct', not enough data columns

• Microsoft Fabric hedefi: CDC hatasıyla sonuçlanan bağlantı hatası

  Bir bağlantı hatasından kurtulduktan sonra hedefe değişiklikleri uygulamak bazen "Conversion failed" hatasıyla başarısız oluyordu.

2024.5.35

Yama

Bu yama aşağıdaki sorunları çözer:

• Microsoft Fabric hedefi: Veri türü dönüştürme sorunu

  Bir depolama görevi sırasında, NVARCHAR(3500) veri türü VARCHAR(8000) (izin verilen maksimum) yerine yanlışlıkla VARCHAR(10500) olarak dönüştürülüyor ve bu da bir hatayla sonuçlanıyordu.

• IBM DB2 for LUW kaynağı: 941 kod sayfasıyla (Japonca) GRAPHIC veri türü desteği

  Kaynak tablo 941 kod sayfasıyla (Japonca) bir GRAPHIC veri türü içerdiğinde aşağıdaki hata oluşuyordu (alıntı):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Yama

Workday Reports kaynak bağlayıcısında kullanıcı adını ve parolayı güncelledikten ve ardından görevi yeniden yükledikten sonra, kimlik bilgileri doğru olmasına rağmen "Invalid username or password" hatası oluşuyordu. Bu sorun artık çözüldü.

Yama

Bu yama aşağıdaki sorunları çözer:

Güvenlik

Veri Hareketi ağ geçidi ile birlikte gelen Oracle Java Standard Edition 17.0.8'in bilinen birkaç güvenlik açığı vardır. Bu yama 17.0.8'i 17.0.12 ile değiştirerek sorunları çözer.

Salesforce kaynağı

CDC sırasında, her değişiklik için ilişkili _ct tablosuna (yalnızca bir tane yerine) birden fazla INSERT işlemi ekleniyordu. Bu, _ct tablosundaki kayıt sayısını önemli ölçüde artırıyordu.

Standart

Yama

Bu yama aşağıdaki sorunları çözer:

Snowflake JDBC Sürücüsü güvenlik açığı

14 Ağustos 2024'te Snowflake, bazıları Veri Hareketi ağ geçidi uygulamasının önceki sürümleriyle kullanılan Snowflake JDBC sürücüleri >= 3.2.6 ve <= 3.19.1 hakkında bir güvenlik uyarısı yayınladı. Güvenlik açığı, artık sürücü kurulum yardımcı programıyla yüklenen sürüm olan Snowflake JDBC Sürücüsü 3.20'de yamalandı. Mevcut müşteriler, Driver setup bölümünde açıklanan Sürücüyü güncelleme prosedürünü izleyerek sürücülerini en kısa fırsatta yükseltmelidir.

Oracle kaynağı

• Yineleme olayı 11.22 kullanıldığında, INSERT'lerden önce sıkıştırılmamış sıkıştırılmış bir sayfada birden fazla INSERT işlenirken eksik INSERT'ler oluşuyordu.
• Nadir senaryolarda, yineleme günlüğü kaydındaki DELETE olaylarının yanlış ayrıştırılması, "The Redo Log DELETE event contains an unknown structure" uyarısı ve ardından çeşitli sorunlar oluşturuyordu.

SAP Extractor kaynağı

YAML dosyasındaki talimatlar, SAP Java Bağlayıcısının doğru sürümünü yansıtacak şekilde güncellendi.

Snowflake hedefi

Bir proxy üzerinden Snowflake hedefine bağlanmak için Veri Hareketi ağ geçidi kullanıldığında, bağlantı aşağıdaki hatayla başarısız oluyordu:

500 Failed to connect to Data Movement Gateway

Yama

Yama

Çözülen sorunlar

• Oracle Kaynağı

  • Redo olayı 11.22 kullanılırken birden fazla INSERT işleminde bazen eksik INSERT'ler oluşabiliyordu.

  • Oracle 19g'yi Temmuz 2024 düzeltmesine yükselttikten sonra, UPDATE işlemleri bazen yakalanamıyor ve aşağıdaki uyarı gösteriliyordu:

    A compressed row cannot be parsed

• Snowflake Hedefi

  Görev ayarları, kontrol tablosu şemasını oluşturacak şekilde yapılandırıldığında, görev aşağıdaki hatayla başarısız oluyordu:

  Failed to delete directory

• Planlanan CDC

  Bir görev periyodik olarak çalışacak şekilde zamanlandığında bazen başarısız oluyor ve aşağıdaki hatayı veriyordu:

  The task stopped abnormally

• Takılı kalmış dönüşüm ve depolama görevleri

  Dönüşüm ve depolama görevleri bazen aşırı uzun süre Kuyruğa alındı durumunda kalabiliyordu.

• Meta veri yöneticisi

  Değişiklikleri Sakla çoğaltması ile use_manipulation_pk_for_apply özellik bayrağı kullanıldığında görevler başarısız oluyordu.

• SaaS uygulama kaynaklarında sorunlara yol açan uzun süreli zaman aşımı

  Dosyaları indirmek için belirteci kaybetmek gibi uzun süreli zaman aşımlarından kaynaklanan sorunları önlemek için S3 zaman aşımı 6 saate çıkarıldı.

Standart

Geliştirmeler

• Snowflake hedef bağlayıcısına Anahtar Çifti kimlik doğrulaması eklendi

  Anahtar/çift, hizmet hesaplarınızla Snowflake'e bağlanmak için kullanıcıdan/paroladan daha sağlam bir kimlik doğrulama yöntemi sağlar. Bu yaklaşım, veri yükleme (çoğaltma veya yerleştirme görevleri) ve dönüşümler gibi iş yükleri için önerilir.

• Paralel olarak birden fazla tablodan meta veri alma desteği

  Önceki sürümlerde, mevcut bir veri kümesindeki veya yeni eklenen bir veri kümesindeki meta verileri yenilemek bazen başarısız oluyor ve bir hata veriyordu. Bu geliştirme, meta verilerin birden fazla tablodan herhangi bir sorun olmadan paralel olarak alınabilmesini sağlar.

Çözülen sorunlar

• DECIMAL veri türü Google BigQuery'de STRING ile yanlış eşlendi

  Bir kaynak tablo DECIMAL veri türüne sahip örneğin, DECIMAL (38, 20) gibi bir sütun içerdiğinde, Google BigQuery'de depolama görevini hazırlamak başarısız oluyor ve aşağıdaki hata veriliyordu (alıntı):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Sorun, Google BigQuery'de kaynak DECIMAL veri türü DECIMAL ile eşlenerek çözüldü.

• Şema kuralı hatası

  Bir veri görevinde mevcut bir şema kuralında değişiklik yaptıktan sonra aşağıdaki hata meydana gelir:

  QRI SQL error not implemented

• SAP aktarımından eksik /QTQVC/QRI tablosu

  Bir SAP Uygulama kaynağına bağlanan bir yerleştirme görevi hazırlanırken, görev başarıyla tamamlanır, ancak repsrv.log günlük dosyasında aşağıdaki hata rapor edilir:

  Invalid object name 'hk1./QTQVC/QRI'

Standart

Geliştirmeler

• Tüm tabloları kullanımdan kaldırıp yeniden oluşturmaya ihtiyaç duymadan çoğaltma ve göl yerleştirme görevlerinde meta veri değişiklikleri desteği

  Daha önce bir meta veri değişikliği gerçekleştiğinde meta veri değişikliği tüm tabloları etkilemese bile tüm tablolar kullanımdan kaldırılıp yeniden oluşturuluyordu. Artık yalnızca etkilenen tablolar kullanımdan kaldırılacak ve yeniden oluşturulacak, bu sayede performans artırılacak.

• Çoğaltma görevlerinde yeni tabloları otomatik yükleme desteği

  Desen ekle ile eşleşen çoğaltma veri görevi sırasında kaynak veritabanında oluşturulan tablolar artık CDC (Değişiklik verisi yakalama) sırasında otomatik olarak yakalanacak.

• Microsoft SQL Server (MS-CDC) kaynak geliştirmeleri

  • Zaman damgasını ve işlem kimliğini koruma

    Daha önce Microsoft SQL Server'dan (MS-CDC) birde fazla işlem okurken Qlik Talend Data Integration yalnızca ilk işleme ait zaman damgasını ve işlem kimliğini koruyordu. Hedefte bu, kayıtlar tek bir işlemin parçasıymış gibi bir görünüm veriyordu. Artık Qlik Talend Data Integration, her bir kayıt için orijinal işlem kimliğini ve zaman damgasını koruyacak. Bu, Değişiklik tablolarında İşlem Kimliği ve Zaman Damgası başlık sütunlarından faydalanmak isteyen müşteriler için faydalıdır.

  • İşlem kimliği bayt sırası

    Daha önce işlem kimliğindeki baytlar ters sırayla kodlanıyordu. Bu sürümden itibaren baytlar doğru sırada kodlanacak. Mevcut davranışı korumayı tercih eden Bilgi Müşterileri bunu dahili parametreler kullanarak yapabilir. Ayrıntılar için lütfen Qlik Destek ekibiyle iletişime geçin.

• MySQL ile SHA-2 çıkarılabilir kimlik doğrulamasını önbelleğe alma desteği

  Qlik Talend Data Integration artık şirket içinde veya bulutta MySQL kaynakları ya da hedefleri ile çalışırken SHA-2 çıkarılabilir kimlik doğrulamasını (caching_sha2_password) önbelleğe almayı destekliyor. Önceki sürümlerde yalnızca Yerel Çıkarılabilir Kimlik Doğrulaması (mysql_native_password) destekleniyordu.

• Amazon Redshift veri türü eşlemesindeki değişiklikler

  BYTES ve BLOB veri türleri artık VARCHAR yerine Amazon Redshift'te VARBYTE ile eşlenecektir.

Yeni onaylanan platformlar, uç noktaları ve sürümler

• Veri kaynakları

  • PostgreSQL 16.x

  • MySQL 8.1
  • z/OS için IBM DB2 3.1

• Hedef platformlar

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Sürücüler

  • SQL Server ODBC Sürücüsü 18.3

Destek sonu

Aşağıdaki veritabanı sürümleri için destek kesilmiştir:

• Oracle 19.x sürümünden eski tüm Oracle sürümleri ve sürücüleri
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• LUW için IBM DB2 10.5
• z/OS: z/OS 2.3 için IBM DB2

Çözülen sorunlar

• SAP (Uygulama) kaynağı

  Yakalanan küme belgesi değişikliği, yakalanan tüm tablolarındaki satırların hepsini sildiğinde eksik DELETE işlemi ve gereksiz onay mesajları ile karşılaşılır.

• Güvenlik açıkları

  Java için Microsoft Kimlik Doğrulama Kitaplığı (MSAL4J) ve Bouncy Castle, bilinen güvenlik açıkları olmayan sürümlere güncellendi.

• Snowflake hedefi

  • Snowflake dahili depolamasını kullanırken görev bazen başarısız olur.
  • Hedef şema adı Japon Katakana olduğunda görev başarısız oluyordu.

• Oracle kaynağı

  Bir görevi Oracle kaynağıyla sürdürürken görev, uygun bir hatayla başarısız olmak yerine silinen bir Arşivlenen Yineleme Günlüğünü beklemeye devam ediyordu.

Standart

Geliştirmeler

• Snowflake meta veri şeması

  Bu sürümden itibaren (hazırlanmış dosyalar için) Snowflake meta veri şeması mevcut değilse oluşturulur.

Çözülen sorunlar

• Veri kümesini yeniden adlandır kuralında (tablo adını şema adıyla birleştiren) bir değişiklik yapıldıktan ve yerleştirme görevine bir Görünüm eklendikten sonra, Hazırla işlemi aşağıdaki hatayla başarısız oluyordu:

  QRI SQL error not implemented.

• java_file_factory bileşenini bilinen güvenlik açığı olmayan bir sürüme güncelledik.
• org.postgresql:postgresql bilinen herhangi bir güvenlik açığı içermeyen bir sürüme güncellendi.
• SQL Server'a veri taşırken dizin adları 128 karakteri aştığında Hazırla işlemi başarısız oluyordu. Sorun, daha kısa dizin adları oluşturma mantığı değiştirilerek çözüldü.

• SQL Server'dan veri taşırken tablo tanımlarındaki eksik bir sütun adı, repsrv.log dosyasında aşağıdaki mesajla sonsuz bir bildirim döngüsüne neden olacaktır:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Standart

Geliştirmeler

• Paralel meta veri alımı

  Birden fazla tablo için eş zamanlı olarak meta veri alma desteği eklendi.

• İyileştirilen izleme performansı

  Yerleştirme ve çoğaltma görevleri için izleme bilgileri (60 saniyede bir yerine) artık 10 saniyede bir güncellenerek görevlerin mevcut durumlarıyla ilgili daha hassas bir gösterge sağlatacak.

• Yeni bölge desteği

  Japonya artık Qlik Cloud kiracı bölgesi olarak desteklenmektedir.

Çözülen sorunlar

• Veri ağ geçidi ile Qlik Cloud arasındaki yeniden deneme aralığı sürekli olarak artıyor, ancak hiçbir zaman sıfırlanmıyordu (hizmet yeniden başlatılmadığı sürece).
• Bir SaaS uygulaması kaynağından veri taşırken tablolar bazen yeniden yükleme sırasında hata durumuna giriyordu.

• MySQL kaynağı içeren görevler bazen CDC sırasında aşağıdaki hatayı vererek başarısız oluyordu:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Daha önce CDC denetim olayları yalnızca yerleştirme görevleri için günlüğe kaydediliyordu. Artık çoğaltma görevleri için de kaydedilecekler.
• SQL Server'dan (MS-CDC) veri taşırken çok sayıda tablo içeren görevlerin başlaması bazen birkaç saat sürüyordu.

• Kaynak tablosunda CLOB sütunları olduğunda ve "LOB boyutunu sınırlama" değeri 10240'ı aştığında Snowflake'e çoğaltma işlemi aşağıdaki hatayı vererek başarısız oluyordu:

  Invalid character length: 0

Standart

Veri Hareketi ağ geçidi uygulamasını Red Hat 9.x üzerine yükleme desteği

Müşteriler artık Veri Hareketi ağ geçidi uygulamasını Red Hat 9.x veya karşılık gelen ve uyumlu Linux dağıtımına yükleyebilir.

Veri Hareketi ağ geçidi ayarlama

Veri Hareketi ağ geçidi hizmet komutlarındaki değişiklikler

Veri Hareketi ağ geçidi hizmetinin durumunu durdurma, başlatma ve kontrol etme komutları değişti.

Veri Hareketi ağ geçidi hizmet komutları

Amazon Redshift veri türü eşlemesindeki değişiklikler

• Amazon Redshift'te VARCHAR(1) ile eşlenen BOOLEAN veri türü artık BOOLEAN ile eşlenecektir.
• Amazon Redshift'te VARCHAR(1) ile eşlenen BYTES ve BLOB veri türleri artık VARBINARY (uzunluk) ile eşlenecektir.

Yeni desteklenen veritabanları, veritabanı sürümleri ve sürücü sürümleri

Bu bölümde, yeni desteklenen veritabanları, veritabanı sürümleri ve sürücü sürümleri listelenmektedir.

• Yeni desteklenen veri kaynağı sürümleri ve yayımları

  Aşağıdaki veri kaynağı sürümleri artık desteklenmektedir:

  • Azure Database for MySQL - Flexible Server (MySQL kaynak bağlayıcısı üzerinden desteklenir)
  • MariaDB 10.4 - 10.11 (önceki 10.4 ve 10.5)

• Yeni desteklenen hedef veri platformları ve yayımları

  Aşağıdaki veri hedefi sürümleri artık desteklenmektedir:

  • Azure Database for MySQL - Flexible Server (MySQL hedef bağlayıcısı üzerinden desteklenir)
  • Databricks: Databricks 13.3 LTS ve Serverless SQL Warehouse

• Yeni desteklenen SAP HANA sürücü sürümü

  SAP HANA kaynağı olan ve Veri Hareketi ağ geçidi uygulamasını Red Hat Linux 9.x üzerine yüklemek isteyen müşteriler, SAP HANA ODBC 64 bit Sürücü Sürümü 2.0.19 veya daha yeni sürümlerini yüklemelidir.

Destek sonu veritabanı sürümleri

Bu bölümde destek sonu veritabanı sürümleri hakkında bilgi verilmektedir.

• Aşağıdaki veri kaynağı sürümleri için destek kesilmiştir:

  • Oracle 11.x
  • SAP HANA 1.0

Çözülen sorunlar

• Sunucu şifresi sağlamadan Veri Hareketi ağ geçidi yüklemek, kiracı ve proxy URL'lerinin bir komutta yapılandırılmasına izin vermeyecektir.
• Bir Salesforce (SaaS uygulaması) veri kaynağından veri taşımak, çok sayıda gereksiz uyarı oluşturarak veri yükleme performansını olumsuz etkileyecektir.
• Bir SaaS uygulaması veri kaynağı için değişiklikler alınırken tablolardan birine ilişkin değişiklikleri alma sırasında bir hata oluşursa ilgili tablo askıya alınıp işlem veri hattından kaldırılırdı. Artık bir hatayla karşılaşıldığında görev, tabloyu askıya almadan önce değişiklikleri almayı üç kez deneyecektir.

Standart

Çoğaltma projeleri için yeni veri gölü hedefleri

Amazon S3'e ek olarak Qlik Cloud Data Integrarion'daki Replication projesinde desteklenen hedefleri genişletmeye devam ediyoruz. Artık Parquet, JSON veya CSV dosya formatlarında veri gölü teslimi için Azure Data Lake Storage (ADLS) ve Google Cloud Storage'ı (GCS) seçebilirsiniz.

Çözülen sorunlar:

• IBM DB2 for LUW kaynak bağlayıcısı

  Bağlantı için gereken dosyaların (SSL istemci sertifikası ve anahtar deposu dosyası gibi) boyutu 4 KB'yi aştığında IBM DB2 for LUW bağlantısı başarısız oluyordu.

• IBM DB2 for LUW ve IBM DB2 for z/OS kaynak bağlayıcıları için sürücü

  Sürücü kurulum yardımcı programı kullanıldığında DB2 sürücü kurulumu başarısız oluyordu.

Standart

Veri işlem hattı hedefi olarak Microsoft Fabric desteği

Microsoft Fabric, veri işlem hattı projelerinde hedef olarak kullanılabilen veri depolarının sürekli uzayan listesine katılmıştır.

Çözülen sorunlar:

Sürücü kurulum yardımcı programındaki Snowflake sürücü sürümü güncellendi.

Standart

Özel Bağlantılar için Genişletilmiş Destek

A private connection cVeri trafiğinizin güvenli ve uyumlu kalmasını sağlamak için özel bir bağlantı kullanılabilir.an be used to ensure your data traffic remains secure and compliant. Gelen güvenlik duvarı bağlantı noktalarını, proxy cihazlarını veya yönlendirme tablolarını açmaya gerek kalmadan VPC'nizin (Sanal Özel Bulut) hem ağ yönetimini hem de güvenliğini basitleştirir. Qlik Cloud Veri Entegrasyonu; Snowflake, Microsoft SQL Server ve Amazon S3 veri hattı hedeflerine özel bağlantıları zaten desteklemektedir. Bu sürümle birlikte müşteriler, verileri Databricks, Microsoft Azure Synapse, Google BigQuery ve Amazon Redshift'e taşırken özel bağlantıları da kullanabilecek.

PostgreSQL tabanlı veri kaynakları

• Tüm PostgreSQL tabanlı veri kaynakları - Çok aralıklı veri türü desteği: Aşağıdaki çok aralıklı veri türleri artık tüm PostgreSQL tabanlı veri kaynaklarında (şirket içi ve bulut) desteklenmektedir.

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• PostgreSQL veri kaynağı için AWS Aurora Cloud - Süper kullanıcı olmayan rol desteği: PostgreSQL bağlayıcısında belirtilen kullanıcının, PostgreSQL için AWS Aurora Cloud veri kaynağından veri taşımak için artık süper kullanıcı rolüne sahip olması gerekmiyor. Bu, özellikle ayrıcalıklı olmayan kullanıcılara süper kullanıcı erişimi vermelerini engelleyen kurumsal güvenlik politikalarına sahip kuruluşlar için kullanışlıdır.

Microsoft Azure SQL (MS-CDC) veri kaynağı: Coğrafi çoğaltma desteği

Microsoft Azure SQL (MS-CDC) veri kaynağından veri taşıyan müşteriler artık bir Coğrafi Çoğaltma veritabanı kullanabilir.

Oracle veri kaynağı: HSM (Donanım Güvenlik Modülü) desteği

Qlik Cloud Veri Entegrasyonu artık CDC sırasında Oracle şifrelenmiş tablo alanlarından ve şifrelenmiş sütunlardan veri okumayı desteklemektedir.

Yeni bölge desteği

Qlik Cloud Veri Entegrasyonu artık Almanya ve Birleşik Krallık bölgelerindeki kiracıları destekliyor.

Yeni desteklenen sürümler ve üçüncü taraf yazılımlar

Bu bölümde yeni desteklenen veritabanı ve sürücü sürümleri listelenmektedir.

• Yeni desteklenen veri kaynağı sürümleri. Aşağıdaki veri kaynağı sürümleri artık desteklenmektedir:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (IBM DB2 for z/OS ile çalışırken)
  • iSeries 7.5 için IBM DB2

• Yeni desteklenen hedef veri platformu sürümleri. Aşağıdaki veri hedefi sürümleri artık desteklenmektedir:

  • Databricks (Bulut Depolama): Databricks 12.2 LTS ve Databricks SQL Sunucusuz

• Sürücü sürümleri. Aşağıdaki ODBC sürücü sürümleri artık desteklenmektedir:

  • IBM DB2 for z/OZ ve IBM DB2 for LUW için IBM Data Server Client 11.5.8
  • Google Cloud BigQuery için Simba ODBC sürücüsü 3.0.0.1001
  • MySQL ODBC Unicode Sürücüsü 64-bit 8.0.32

Microsoft SQL Server sürücüsü - Zorunlu yükseltme

Verileri Microsoft SQL Server'a veya Microsoft SQL Server'dan taşıyan müşterilerin SQL Server ODBC sürücü sürümlerini 18.x veya daha yeni bir sürüme yükseltmeleri gerekir. SQL Server ODBC Driver 17.x'i kullanmaya devam etmek veri hatalarına neden olabilir. Sürücünün yükseltilmesi, sürücü yükleme yardımcı programı kullanılarak ya da manuel olarak yapılabilir. Talimatlar için Sürücü kurulumu bölümüne bakın.

Destek sonu veritabanı sürümleri

Bu bölümde destek sonu veritabanı sürümleri hakkında bilgi verilmektedir.

• Destek sonu veri kaynağı sürümleri. Aşağıdaki veri kaynağı sürümleri için destek kesilmiştir:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Destek sonu hedef veri platformu sürümleri. Aşağıdaki veri hedefi sürümleri için destek sonlandırılmıştır:

  • Databricks 9.1 LTS

2022.11.74

Standart

15 Ağustos 2023

Çoğaltma desteği

Hızlı inovasyon ve benimseme sağlayan bulut öncelikli bir yaklaşım benimsiyoruz. Ancak bu, yalnızca bulutta çalıştığımız sonucunu doğurmaz. As part of our continued commitment to improving the long-term value for our customers, we are pleased to announce the release of a new use case for Replication when creating data projects. Yeni Çoğaltma kullanım durumu, Veri Ambarı modernizasyonu gibi tüm veri entegrasyonu ihtiyaçlarınız için veri işlem hatları oluşturmaya yönelik mevcut yeteneğe ektir.

Çoğaltma projesi, desteklenen veri kaynaklarından desteklenen bir hedefe gerçek zamanlı veri çoğaltmayı destekler.

Bu son sürümden başlayarak, verilerin gerçek zamanlı olarak çoğaltılmasını destekleyen ilk hedef Microsoft SQL Server'dır. Şirket içi Microsoft SQL Server desteğine ek olarak, aşağıdaki bulut sağlayıcıları da desteklenmektedir:

• Şirket içinde
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Yönetilen Örneği ve Microsoft Azure Veritabanı)

Microsoft Azure Synapse Analytics hedefi - Gerekli sürücü yükseltmesi

Verileri Microsoft Azure Synapse Analytics'e taşıyan müşterilerin SQL Server ODBC sürücü sürümlerini 18.x veya daha yeni bir sürüme yükseltmeleri gerekir. SQL Server ODBC Driver 17.x'i kullanmaya devam etmek veri hatalarına neden olabilir. Sürücünün yükseltilmesi, sürücü yükleme yardımcı programı kullanılarak ya da manuel olarak yapılabilir. Talimatlar için Sürücü kurulumu bölümüne bakın.

SaaS uygulama kaynakları için yeni "Kaynaktan veri yükle" seçeneği

Müşterilerin Tam Yükleme sırasında önbelleğe alınan verileri kullanmak yerine verilerini doğrudan kaynaktan okumalarına olanak tanıyan yeni bir Kaynaktan dosya yükle seçeneği sunuldu.

Kullanım durumları da dahil olmak üzere bu seçenek hakkında daha fazla bilgi için bk. Yerleştirme ayarları.

CA sertifikaları güncellendi

Veri Hareketi ağ geçidi 2022.11.74, Qlik Cloud kiracısının kimlik doğrulaması için gerekli olan güncellenmiş CA sertifikalarını içerir. Güncellenen CA sertifikaları İrlanda ve Frankfurt bölgeleri için de destek sağlamaktadır. Bu nedenle, İrlanda veya Frankfurt'ta Qlik Cloud kiracısı olan ve Qlik Cloud Veri Entegrasyonu'nu kullanmak isteyen müşteriler bu sürüme yükseltmelidir.

Çözülen sorun

Oracle kaynağından veri alan görevler, geniş bir tablo kullanılmayan veya desteklenmeyen sütunlar ya da çoğaltılmayan LOB sütunları içerdiğinde bazen başarısız oluyordu.

2022.11.70

Standart

28 Haziran 2023

SAP istemcileri için geliştirilmiş sürücü kurulum yardımcı programı

Önceki sürümlerde, müşterilerin SAP istemcilerini kurarken "source arep_login.sh" komutunu çalıştırmaları gerekiyordu. Bu sürümden itibaren artık bu komutu çalıştırmak gerekli değildir.

Güncellenmiş CA sertifikaları

Bu sürüm, Qlik Cloud kiracısının kimliğini doğrulamak için gereken güncellenmiş CA sertifikalarını içerir.

Çözülen sorunlar

• Veri Hareketi ağ geçidi üzerindeki bir çoğaltma görevi başarısız olduğunda ve otomatik olarak kurtarıldığında, kurtarılan durum Qlik Cloud'daki Yerleştirme veri varlığına iletilmez.

• Veri Hareketi ağ geçidi için uçtan uca şifreleme varsayılan olarak etkin değildi, ayrıca çalışma zamanı bayrakları tarafından kontrol edilirdi.

2022.11.63

Standart

2 Mayıs 2023

Sürücü yükleme yardımcı programı

Bu sürüm, sürücüleri manuel olarak yükleme ve yapılandırma gereksinimini ortadan kaldıran bir sürücü yükleme yardımcı programı sunar. Yeni yardımcı program, kullanıcı hatası olasılığını büyük oranda azaltırken yükleme işlemini kısaltır. Yardımcı program çalıştırıldığında, gerekli sürücü otomatik olarak indirilir (mümkünse) ve yüklenir. Sürücü indirilemezse (ör. DB2 sürücüleri oturum açmayı gerektirir), yapmanız gereken tek şey sürücüyü yüklemek, Veri Hareketi ağ geçidi makinesindeki özel bir klasöre kopyalamak ve yardımcı programı çalıştırmaktır.

Bir PostgreSQL sürücüsünü yüklemek üzere sürücü yükleme yardımcı programını kullanmaya ilişkin bir örnek için bkz. Ön koşullar

Snowflake bulut veri platformu

Snowflake bağlayıcısı artık 4 bit emoji karakterlerini destekliyor.

Azure Database for PostgreSQL - Flexible Server

PostgreSQL bağlayıcısı artık Azure Database for PostgreSQL - Flexible Server'dan verileri taşımayı destekleyebiliyor.

Veri kaynağı olarak PostgreSQL için Cloud SQL desteği

PostgreSQL bağlayıcısı artık PostgreSQL için Cloud SQL'den veri taşıyabilir.

Yeni desteklenen veri kaynağı sürümleri

Bu sürüm, aşağıdaki yeni veri kaynağı sürümleri için destek sunar:

• PostgreSQL 14
• DB2 (IBM DB2 for z/OS için) 12.1
• IBM DB2 for z/OS 2.5

Yeni desteklenen bulut veri platformu sürümleri

Databricks 11.3 LTS

Aşağıdaki veri kaynağı sürümleri için destek kaldırıldı

Aşağıdaki veri kaynağı sürümleri artık desteklenmiyor:

• DB2 (IBM DB2 for z/OS için) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Çözülen sorunlar

Bu sürüm, aşağıdaki sorunları çözer:

• Oracle veri kaynağı: Bir görevi durdurup devam ettirirken, görev bazen "Bağlamda klasör konumu ayarlanamadı" hatasıyla başarısız oluyordu.
• SAP Uygulaması kaynağı: Değişiklikler, yerleştirme görevi sırasında yakalanamıyordu.