Azure Synapse Analytics

Veri kümelerini indirmek ve depolamak için Azure Synapse Analytics veri platformu olarak kullanılabilir.

Şu bağlantı özellikleri Qlik Cloud Veri Entegrasyonu içinde bir veri bağlantısı oluşturulurken ayarlanır ve değiştirilemez:

• Allow non-Select queries etkinleştirilir.

• Enable Bulk Reader devre dışı bırakılır.

Azure Synapse Analytics bağlantısıyla ilgili daha fazla bilgi için bk. Azure Synapse Analytics bağlantısı oluşturma (yalnızca İngilizce).

Ayrıca, uygulanıp depolanmadan önce verilerin ve değişikliklerin hazırlandığı bir Azure Data Lake Storage bulut hazırlama alanınız olması gerekir. Daha fazla bilgi için bk. Bulut hazırlama alanı olarak Azure Data Lake Storage ile bağlantı kurma.

Yerleştirme verileri için gereken izinler

Depolama izinleri

Azure Synapse Analytics bağlayıcısında belirtilen kullanıcıya aşağıdaki depolama izinleri verilmelidir.

• ADLS Gen2 Depolama kapsayıcısında: LIST
• ADLS Gen2 Depolama klasöründe: READ, WRITE ve DELETE
• ADLS Gen2 dosya sisteminin Erişim Denetimi (IAM) ayarlarında, Data Movement gateway ürününe (AD Uygulama Kimliği) "Depolama Blob Verilerine Katkıda Bulunan" rolünü atayın. Rolün devreye girmesi birkaç dakika alabilir.

Veritabanı izinleri

Azure Synapse Analytics bağlayıcısında belirtilen kullanıcıya şu izinler verilmelidir:

• Genel izinler:

  • db_owner rolü

• Tablo izinleri:

  • SELECT, INSERT, UPDATE ve DELETE
  • Toplu Yükleme
  • CREATE, ALTER, DROP (görevin tanımı gerekli kılıyorsa)

Bulut hazırlama alanı olarak Azure Data Lake Storage ile bağlantı kurma

Veri projesini oluştururken Azure Data Lake Storage bulut hazırlama alanına bağlanmanız gerekir. Aşağıdaki ayarlar gereklidir:

• Depolama Hesabı

  Depolama hesabının adı.

• Kapsayıcı adı

  Bulut hazırlama alanı olarak kullanılacak kapsayıcının adı.

• Azure Active Directory Kiracı Kimliği

  Aboneliğin Azure Active Directory'deki kiracı kimliği.

• Azure Uygulama Kaydı İstemci Kimliği

  Uygulamanın Azure Active Directory'deki istemci kimliği.

• Azure Uygulama Kaydı Gizli Bilgisi

  Uygulamanın Azure Active Directory'deki gizli bilgisi

• Erişim anahtarı

  Depolama hesabının erişim anahtarı.

Ayrıca SQL Server kimlik bilgilerini otomatik olarak oluşturmayı da seçebilirsiniz.

Qlik Data Gateway - Veri Hareketi önkoşulları

Veri Hareketi ağ geçidi makinesinde aşağıdaki önkoşulları karşılamanız gerekir.

Sürücü kurulumu

driver öğesini, sürücü yükleme yardımcı programını kullanarak (önerilir) veya manuel olarak yükleyebilirsiniz. Manuel yükleme, nadir görülen şekilde sürücü yükleme yardımcı programında bir sorunla karşılaşmanız durumunda denenmelidir.

Sürücüyü yüklemek için sürücü yükleme yardımcı programı kullanma

Bu bölümde, gerekli driver öğesinin nasıl yükleneceği açıklanmıştır. Sürece, gerekli driver öğesini otomatik olarak indirecek, yükleyecek ve yapılandıracak bir komut dosyası çalıştırma işlemi dahildir. Gerektiğinde driver öğesini güncellemek ve kaldırmak için de komut dosyaları çalıştırabilirsiniz.

Yüklemeyi hazırlama

• Python 3.6 veya daha yeni bir sürümünün Veri Hareketi ağ geçidi sunucusunda yüklü olduğundan emin olun.

  Python, çoğu Linux dağıtımında önceden yüklenmiş şekilde sunulur. Aşağıdaki komutu çalıştırarak sisteminizde yüklü olan Python sürümünü öğrenebilirsiniz:

  python --version

driver uygulamasını yükleme

driver öğesini indirip yüklemek için:

1. Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

   opt/qlik/gateway/movement/drivers/bin

2. Şu komutu çalıştırın:

   Söz Dizimi:

   ./install sqlserver

   driver yüklenemiyorsa (erişim kısıtlamaları veya teknik sorunlar nedeniyle) driver öğesini nereden indireceğiniz ve Veri Hareketi ağ geçidi makinesinde nereye kopyalayacağınız konusunda size talimat veren bir mesaj görünür. Bu işlemi yaptıktan sonra install sqlserver komutunu tekrar çalıştırın.

   Aksi durumda, driver öğesinin EULA'sı görünür.

3. Şunlardan birini yapın:

   • EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
   • EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
   • Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.

4. Şunlardan birini yapın:

   • EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
   • EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.

   • EULA'yı tekrar görüntülemek için "v" yazıp [Enter] tuşuna basın.

driver yüklenir.

driver öğesini güncelleme

Sağlanan driver öğesini yüklemeden önce driver öğesinin eski sürümlerini kaldırmak istiyorsanız güncelleme komutunu çalıştırın.

driver öğesini indirip güncellemek için:

1. Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

   opt/qlik/gateway/movement/drivers/bin

2. Şu komutu çalıştırın:

   Söz Dizimi:

   ./update sqlserver

   driver yüklenemiyorsa (erişim kısıtlamaları veya teknik sorunlar nedeniyle) driver öğesini nereden indireceğiniz ve Veri Hareketi ağ geçidi makinesinde nereye kopyalayacağınız konusunda size talimat veren bir mesaj görünür. Bu işlemi yaptıktan sonra install sqlserver komutunu tekrar çalıştırın.

   Aksi durumda, driver öğesinin EULA'sı görünür.

3. Şunlardan birini yapın:

   • EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
   • EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
   • Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.

4. Şunlardan birini yapın:

   • EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
   • EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.
   • EULA'yı baştan incelemek için "v" yazıp [Enter] tuşuna basın.

Eski driver kaldırılacak ve yeni driver yüklenecektir.

driver öğesini kaldırma

driver öğesini kaldırmak istiyorsanız kaldırma komutunu çalıştırın.

driver öğesini kaldırmak için:

1. Verileri indirmek için Veri Hareketi ağ geçidi kullanılıyorsa tüm indirme görevlerinizi durdurun. Hedef üzerinde ELT işlemlerini gerçekleştirmek için farklı bir Veri Hareketi ağ geçidi kullanılıyorsa ilgili tüm görevleri (Veri Kaydı, Depolama, Dönüşümler ve Veri Ambarları) durdurun. Yerleştirme verileri için tek bir Veri Hareketi ağ geçidi kullanılıyorsa ve hedef üzerinde ELT görevleri gerçekleştiriliyorsa yukarıda bahsedilen tüm görevleri durdurun.

2. Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

   opt/qlik/gateway/movement/drivers/bin

3. Şu komutu çalıştırın:

   Söz Dizimi:

   ./uninstall sqlserver

   driver kaldırılacaktır.

Sürücüyü manuel olarak yükleme

driver öğesini manuel olarak yüklemeyi yalnızca otomatik sürücü yükleme başarıyla tamamlanmadığında denemelisiniz.

1. Microsoft paketlerinden Veri Hareketi ağ geçidi sürümünüze göre aşağıdaki sürücülerden birini indirin:

   • Veri Hareketi ağ geçidi sürüm 2022.11.70: SQL Server 17.x için Microsoft ODBC Sürücüsünü İndirin

     Örnek dosya adı: msodbcsql17-17.10.1.1-1.x86_64.rpm

   • Veri Hareketi ağ geçidi sürüm 2022.11.74 veya daha yeni bir sürüm: SQL Server 18.x için Microsoft ODBC Sürücüsünü İndirin

     Örnek dosya adı: msodbcsql18-18.3.1.1-1.x86_64.rpm

2. Data Movement gateway hizmetini durdurun:

   sudo service repagent stop

3. İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

   sudo service repagent status

Çıktı şu şekilde olmalıdır:

not running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

4. Sürücüyü Data Movement gateway makinesine yükleyin.

5. Sürücü konumunu site_arep_login.sh dosyasına aşağıdaki gibi kopyalayın:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<parent-version>/lib64/" >> site_arep_login.sh

   burada <parent-version> yüklediğiniz sürücü sürümüne göre 17 veya 18'dir.

   SQL Server 18.x için Microsoft ODBC Sürücüsünün yüklü olduğunu varsayan örnek:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql18/lib64/" >> site_arep_login.sh

   Bu, sürücüyü "LD_LIBRARY_PATH" değişkenine ekler ve site_arep_login.sh dosyasındaki sürücü konumunu günceller.

6. İsteğe bağlı olarak sürücü konumunun kopyalandığını doğrulayın:

   cat site_arep_login.sh

7. Data Movement gateway hizmetini başlatın:

   sudo service repagent start

8. İsteğe bağlı olarak hizmetin başlatıldığını doğrulayın:

   sudo service repagent status

   Çıktı şu şekilde olmalıdır:

   running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

Bağlantı Noktaları

• Data Movement gateway Azure dışında bir makinede çalışırken - Giden iletişim için bağlantı noktası 1433'ü açın.
• Data Movement gateway bir AzureVM'de çalışırken - Giden iletişim için şu bağlantı noktalarını açın:
  • 1433
  • 11000-11999
  • 14000-14999

Veri türleri

Aşağıdaki tabloda Qlik Cloud kullanırken desteklenen Azure Synapse Analytics veri türleri ve Qlik Cloud veri türlerine ait varsayılan eşleme gösteriliyor.