Azure Synapse Analytics

Bir veri işlem hattında hedef veri platformu olarak Azure Synapse Analytics kullanılabilir. Bir veri işlem hattında, verileri saklama, verileri dönüştürme, veri ambarları oluşturma ve veri kaydetme dahil olmak üzere hedef platformda çeşitli ELT işlemleri gerçekleştirilebilir.

Hedef olarak Azure Synapse Analytics ayarlamak şunları içerir:

• Ön koşulların yerine getirilmesi
• Bir bulut hazırlama alanına (Azure Data Lake Storage) bağlantı yapılandırma. Mevcut verileri kaydediyorsanız bu gerekli değildir.
• Azure Synapse Analytics öğesine bağlantı yapılandırma

Bulut hazırlama alanı kurma

Ayrıca, uygulanıp depolanmadan önce verilerin ve değişikliklerin hazırlandığı bir Azure Data Lake Storage bulut hazırlama alanınız olması gerekir. Azure Data Lake Storage'a bağlantı kurma hakkında bilgi için bkz. Azure Data Lake Storage.

Azure Synapse Analytics bağlantı özelliklerini ayarlama

Azure Data Lake Storage Hedef ayarlarını sağladıktan sonra aşağıdakileri yapın:

1. Bağlantılar'da Bağlantı oluştur'a tıklayın.

2. Azure Synapse Analytics hedef bağlayıcısını seçin ve ardından aşağıdaki ayarları sağlayın:

Veri hedefi

Veri ağ geçidi

Bir Veri Hareketi ağ geçidi yalnızca hedef veritabanına Qlik Cloud öğesinden erişilemiyorsa ve yalnızca bir Özel Bağlantı kullanılarak erişilebiliyorsa gereklidir (örneğin, bir Sanal Özel Bulutta bulunuyorsa). Bu durumda, hedef veritabanına erişmek istediğiniz Veri Hareketi ağ geçidi öğesini seçin.

Kullanım durumunuza bağlı olarak, bu ya veri kaynağından veri taşımak için dağıtılanVeri Hareketi ağ geçidi ile aynı ya da farklı bir veri kaynağı olacaktır.

Veri Hareketi ağ geçidi kullanım durumları hakkında bilgi için bkz. Veri Hareketi ağ geçidi ne zaman gereklidir? ve Yaygın kullanım durumları.

Hedef veritabanına Qlik Cloud uygulamasından doğrudan erişilebiliyorsa Yok seçeneğini belirleyin.

Bağlantı özellikleri

• Sunucu: Azure Synapse Analytics veritabanının konumunu tanımlamak için ana bilgisayar adı.

• Bağlantı Noktası: Azure Synapse Analytics veritabanınıza erişeceğiniz bağlantı noktası. Varsayılan değer 1433'tür.

Hesap özellikleri

Kullanıcı Adı ve Parola: Azure Synapse Analytics veritabanına erişim yetkisi olan bir kullanıcının kullanıcı adı ve parolası.

Veritabanı özellikleri

• Veritabanı adı: Bir veritabanını belirtmek için kullanabileceğiniz iki yöntem vardır:

  • 1. Yöntem - Bir listeden seç: Bu yöntem, kullanıcının ana veritabanında oluşturulmuş olmasını gerektirir. Veritabanı yükle'ye tıklayın ve ardından bir veritabanı seçin.
  • 2. Yöntem - Manuel olarak: Veritabanı adını manuel olarak gir'i seçin ve ardından veritabanı adını girin.

Veri yükleme özellikleri

SQL Server kimlik bilgisi çalışma zamanı sırasında otomatik olarak oluşturulabilir (varsayılan) veya mevcut bir kimlik bilgisini kullanabilirsiniz. Aşağıdakilerden uygun olan birini yapın:

• SQL Server kimlik bilgisi oluştur onay kutusu seçildiğinde (varsayılan), SQL Server kimlik bilgisi çalışma zamanı sırasında otomatik olarak oluşturulacaktır. Erişim anahtarı alanında erişim anahtarınızı belirtin.
• Mevcut bir kimlik bilgisini kullanmak için SQL Server kimlik bilgisi oluştur onay kutusunun işaretini kaldırın ve Kimlik bilgisi adı alanında SQL Server kimlik bilgisi adınızı belirtin.

Ad

Bağlantının görünen adı.

Önkoşullar

İzinler

Aşağıda açıklandığı gibi hem depolama izinlerini hem de veritabanı izinlerini vermeniz gerekir.

Depolama izinleri

Azure Synapse Analytics bağlayıcısında belirtilen kullanıcıya aşağıdaki depolama izinleri verilmelidir.

• ADLS Gen2 Depolama kapsayıcısında: LIST
• ADLS Gen2 Depolama klasöründe: READ, WRITE ve DELETE
• ADLS Gen2 dosya sisteminin Erişim Denetimi (IAM) ayarlarında, Veri Hareketi ağ geçidi ürününe (AD Uygulama Kimliği) "Depolama Blob Verilerine Katkıda Bulunan" rolünü atayın. Rolün devreye girmesi birkaç dakika alabilir.

Veritabanı izinleri

Azure Synapse Analytics bağlayıcısında belirtilen kullanıcıya veritabanında aşağıdaki izinler verilmelidir:

• Genel izinler:

  • db_owner rolü

• Tablo izinleri:

  • SELECT, INSERT, UPDATE ve DELETE
  • Toplu Yükleme
  • CREATE, ALTER, DROP (görevin tanımı gerekli kılıyorsa)

Veritabanı seçimi

Bir veritabanı seçebilmek için (bağlayıcı diyalog penceresinde Veritabanı yükle'ye tıklayarak), bağlayıcı ayarlarında belirtilen kullanıcının ana veritabanı üzerinde oluşturulması gerekir.

Sürücü kurulumu

Bir sürücü yalnızca veritabanına Veri Hareketi ağ geçidi üzerinden erişiyorsanız gereklidir. Böyle bir durumda, sürücüyü Veri Hareketi ağ geçidi makinesine yüklemeniz gerekir.

driver öğesini, sürücü yükleme yardımcı programını kullanarak (önerilir) veya manuel olarak yükleyebilirsiniz. Manuel yükleme, nadir görülen şekilde sürücü yükleme yardımcı programında bir sorunla karşılaşmanız durumunda denenmelidir.

Sürücüyü yüklemek için sürücü yükleme yardımcı programı kullanma

Bu bölümde, gerekli driver öğesinin nasıl yükleneceği açıklanmıştır. Sürece, gerekli driver öğesini otomatik olarak indirecek, yükleyecek ve yapılandıracak bir komut dosyası çalıştırma işlemi dahildir. Gerektiğinde driver öğesini güncellemek ve kaldırmak için de komut dosyaları çalıştırabilirsiniz.

Yüklemeyi hazırlama

• Python 3.6 veya daha yeni bir sürümünün Veri Hareketi ağ geçidi sunucusunda yüklü olduğundan emin olun.

  Python, çoğu Linux dağıtımında önceden yüklenmiş şekilde sunulur. Aşağıdaki komutu çalıştırarak sisteminizde yüklü olan Python sürümünü öğrenebilirsiniz:

  python3 --version

driver uygulamasını yükleme

driver öğesini indirip yüklemek için:

1. Veri Hareketi ağ geçidi hizmetini durdurun:

   sudo systemctl stop repagent

2. İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

   sudo systemctl status repagent

   Durum aşağıdaki gibi olmalıdır:

   Active: inactive (dead) since <timestamp> ago

3. Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

   opt/qlik/gateway/movement/drivers/bin

4. Şu komutu çalıştırın:

   Söz Dizimi:

   ./install sqlserver

   driver yüklenemiyorsa (erişim kısıtlamaları veya teknik sorunlar nedeniyle) driver öğesini nereden indireceğiniz ve Veri Hareketi ağ geçidi makinesinde nereye kopyalayacağınız konusunda size talimat veren bir mesaj görünür. Bu işlemi yaptıktan sonra install sqlserver komutunu tekrar çalıştırın.

   Aksi durumda, driver öğesinin EULA'sı görünür.

5. Şunlardan birini yapın:

   • EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
   • EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
   • Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.

6. Şunlardan birini yapın:

   • EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
   • EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.

   • EULA'yı tekrar görüntülemek için "v" yazıp [Enter] tuşuna basın.

driver yüklenir.

7. Yüklemenin tamamlanmasını ("Tamamlandı!" ifadesiyle belirtilir) bekleyin ve ardından Veri Hareketi ağ geçidi hizmetini başlatın:

   sudo systemctl start repagent

8. İsteğe bağlı olarak hizmetin başladığını doğrulayın:

   sudo systemctl status repagent

   Durum aşağıdaki gibi olmalıdır:

   Active: active (running) since <timestamp> ago

driver öğesini güncelleme

Sağlanan driver öğesini yüklemeden önce driver öğesinin eski sürümlerini kaldırmak istiyorsanız güncelleme komutunu çalıştırın.

driver öğesini indirip güncellemek için:

1. Veri Hareketi ağ geçidi hizmetini durdurun:

   sudo systemctl stop repagent

2. İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

   sudo systemctl status repagent

   Durum aşağıdaki gibi olmalıdır:

   Active: inactive (dead) since <timestamp> ago

3. Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

   opt/qlik/gateway/movement/drivers/bin

4. Şu komutu çalıştırın:

   Söz Dizimi:

   ./update sqlserver

   driver yüklenemiyorsa (erişim kısıtlamaları veya teknik sorunlar nedeniyle) driver öğesini nereden indireceğiniz ve Veri Hareketi ağ geçidi makinesinde nereye kopyalayacağınız konusunda size talimat veren bir mesaj görünür. Bu işlemi yaptıktan sonra update sqlserver komutunu tekrar çalıştırın.

   Aksi durumda, driver öğesinin EULA'sı görünür.

5. Şunlardan birini yapın:

   • EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
   • EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
   • Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.

6. Şunlardan birini yapın:

   • EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
   • EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.
   • EULA'yı baştan incelemek için "v" yazıp [Enter] tuşuna basın.

Eski driver kaldırılacak ve yeni driver yüklenecektir.

7. Yüklemenin tamamlanmasını ("Tamamlandı!" ifadesiyle belirtilir) bekleyin ve ardından Veri Hareketi ağ geçidi hizmetini başlatın:

   sudo systemctl start repagent

8. İsteğe bağlı olarak hizmetin başladığını doğrulayın:

   sudo systemctl status repagent

   Durum aşağıdaki gibi olmalıdır:

   Active: active (running) since <timestamp> ago

driver öğesini kaldırma

driver öğesini kaldırmak istiyorsanız kaldırma komutunu çalıştırın.

driver öğesini kaldırmak için:

1. Bu bağlayıcıyı kullanmak için yapılandırılan tüm görevleri durdurun.

2. Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

   opt/qlik/gateway/movement/drivers/bin

3. Şu komutu çalıştırın:

   Söz Dizimi:

   ./uninstall sqlserver

   driver kaldırılacaktır.

Sürücüyü manuel olarak yükleme

driver öğesini manuel olarak yüklemeyi yalnızca otomatik sürücü yükleme başarıyla tamamlanmadığında denemelisiniz.

Hem bir ODBC sürücüsü hem de bir JDBC sürücüsü yüklemeniz gerekir.

ODBC sürücüsünün yüklenmesi

Veri Hareketi ağ geçidi yüklendikten sonra msodbcsql<version>.x86_64.rpm sürücüsünü indirin. /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml dizininde binary-artifacts altında desteklenen bir sürümün doğrudan indirme bağlantısını bulabilirsiniz. İndirme tamamlandığında RPM'yi Veri Hareketi ağ geçidi makinesine kopyalayın.

Data Movement gateway sunucusunda bir kabuk istemi açıp şunu yapın:

1. Data Movement gateway hizmetini durdurun:

   sudo systemctl stop repagent

2. İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

   sudo systemctl status repagent

Durum aşağıdaki gibi olmalıdır:

Active: inactive (dead) since <timestamp> ago

3. Sürücüyü (RPM) yükleyin.

4. Çalışma dizinini <urun_dizini>/bin dizinine çevirin.

5. Sürücü konumunu site_arep_login.sh dosyasına aşağıdaki gibi kopyalayın:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

   Bu, sürücüyü "LD_LIBRARY_PATH" değişkenine ekler ve site_arep_login.sh dosyasındaki sürücü konumunu günceller.

6. İsteğe bağlı olarak sürücü konumunun kopyalandığını doğrulayın:

   cat site_arep_login.sh

7. Data Movement gateway hizmetini başlatın:

   sudo systemctl start repagent

8. İsteğe bağlı olarak hizmetin başlatıldığını doğrulayın:

   sudo systemctl status repagent

   Durum aşağıdaki gibi olmalıdır:

   Active: active (running) since <timestamp> ago

9. Data Movement gateway aşağıdaki ODBC kitaplığını gerektirir: msodbcsql-18.1.so.1.1

   Hangi kitaplık sürümünün yüklü durumda olduğunu denetlemek için şu komutu çağırın:

   ls /opt/microsoft/msodbcsql<version>/lib64/

   Mevcut kitaplığın sürüm numarası farklıysa (ör. libmsodbcsql-18.0.so.1.1) mevcut kitaplık ile gerekli kitaplık arasında sembolik bir bağlantı oluşturmanız gerekir.

   Bunu yapmak için şu komutu çağırın:

   cd /opt/microsoft/msodbcsql<version>/lib64/
   ln -s existing_library_name msodbcsql-18.1.so.1.1

   Burada existing_library_name o anda kurulu olan kütüphanenin adıdır (örneğin libmsodbcsql-18.0.so.1.1).

JDBC sürücüsünün yüklenmesi

1. mssql-jdbc-<version>.jar dosyasını indirin. /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml dizininde binary-artifacts altında desteklenen bir sürümün doğrudan indirme bağlantısını bulabilirsiniz. İndirme tamamlandığında JAR dosyasını Veri Hareketi ağ geçidi makinesinde aşağıdaki klasöre kopyalayın:

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Hizmeti yeniden başlatma bölümünde açıklanan komutu çalıştırarak Veri Hareketi ağ geçidi hizmetini yeniden başlatın

Bağlantı Noktaları

• Veri Hareketi ağ geçidi Azure dışında bir makinede çalışırken - Giden iletişim için bağlantı noktası 1433'ü açın.
• Veri Hareketi ağ geçidi bir AzureVM'de çalışırken - Giden iletişim için şu bağlantı noktalarını açın:
  • 1433
  • 11000-11999
  • 14000-14999

Sınırlamalar ve dikkate alınacak noktalar

Azure Synapse Analytics'i hedef olarak kullanırken aşağıdaki sınırlamaları ve hususları dikkate almanız gerekir:

• CHAR/VARCHAR veri türlerine ve Latin olmayan bir harmanlamaya (örneğin "Chinese_PRC_CI_AS") sahip kaynak sütunların NVARCHAR ile eşlenmesi gerekir.

• Boş kaynak sütun işleme:

  • moving boş bir değere sahip bir kaynak ikili sütun (örneğin, VARBINARY veya BLOB) olduğunda, Qlik Talend Data Integration ilgili hedef sütuna bir NULL ekler.

  Bilgi notuBoş değerler NULL değil, sıfır uzunluğa sahip verilerdir.
• 1 MB'yi aşan kayıtların Moving işlemi desteklenmez.
• Moving verisinin 4 baytlık emoji karakterleriyle birlikte kullanılması, veri türünün hedefte geniş bir dize (örneğin, NCHAR/NVARCHAR/NCLOB) olmasını gerektirir.

Veri türleri

Aşağıdaki tabloda Qlik Cloud kullanırken desteklenen Azure Synapse Analytics veri türleri ve Qlik Cloud veri türlerine ait varsayılan eşleme gösteriliyor.

Yerel veri türü bilgileri korunur ve veri kümesi görünümlerinde Yerel veri türü sütununda görüntülenir. Sütun görünür değilse veri kümesi görünümünün sütun seçicisini açmanız ve Yerel veri türü sütununu seçmeniz gerekir.