Microsoft Fabric
Microsoft Fabric Bir veri işlem hattında veya çoğaltma görevinde hedef veri platformu olarak. Bir veri işlem hattında, verileri saklama, verileri dönüştürme, veri ambarları oluşturma ve veri kaydetme dahil olmak üzere hedef platformda çeşitli ELT işlemleri gerçekleştirilebilir. Diğer yandan çoğaltma görevi, temel dönüştürme yetenekleriyle ancak ELT işlemleri için destek olmadan, verilerin doğrudan bir kaynak sistemden bir hedef sisteme çoğaltılmasını içerir. kullanabilirsiniz.
Hedef olarak Microsoft Fabric ayarlamak şunları içerir:
- Ön koşulların yerine getirilmesi
- Bir bulut hazırlama alanına (Azure Data Lake Storage) bağlantı yapılandırma. Mevcut verileri kaydediyorsanız bu gerekli değildir.
- Microsoft Fabric öğesine bağlantı yapılandırma
Bulut hazırlama alanı kurma
Ayrıca, uygulanıp depolanmadan önce verilerin ve değişikliklerin hazırlandığı bir Azure Data Lake Storage bulut hazırlama alanınız olması gerekir. Azure Data Lake Storage'a bağlantı kurma hakkında bilgi için bkz. Azure Data Lake Storage.
Microsoft Fabric bağlantı özelliklerini ayarlama
Azure Data Lake Storage Hedef ayarlarını sağladıktan sonra aşağıdakileri yapın:
-
Bağlantılar'da Bağlantı oluştur'a tıklayın.
-
Microsoft Fabric hedef bağlayıcısını seçin ve ardından aşağıdaki ayarları sağlayın:
Veri hedefi
Veri ağ geçidi
Bir Veri Hareketi ağ geçidi yalnızca hedef veritabanına Qlik Cloud öğesinden erişilemiyorsa ve yalnızca bir Özel Bağlantı kullanılarak erişilebiliyorsa gereklidir (örneğin, bir Sanal Özel Bulutta bulunuyorsa). Bu durumda, hedef veritabanına erişmek istediğiniz Veri Hareketi ağ geçidi öğesini seçin.
Kullanım durumunuza bağlı olarak, bu ya veri kaynağından veri taşımak için dağıtılanVeri Hareketi ağ geçidi ile aynı ya da farklı bir veri kaynağı olacaktır.
Veri Hareketi ağ geçidi kullanım durumları hakkında bilgi için bkz. Veri Hareketi ağ geçidi ne zaman gereklidir? ve Yaygın kullanım durumları.
Hedef veritabanına Qlik Cloud uygulamasından doğrudan erişilebiliyorsa Yok seçeneğini belirleyin.
Bağlantı özellikleri
- Sunucu: Kullandığınız Microsoft Fabric Veri Deposu sunucusunun adı.
Hesap özellikleri
Kimlik doğrulama yöntemi: Şunlardan birini seçin:
-
Azure Active Directory Hizmet İlkesi
Ardından belirtilen alanlara İstemci Kimliği ve İstemci Parolası bilgilerinizi girin.
-
Azure Active Directory Kullanıcı İlkesi
Ardından belirtilen alanlara Kullanıcı adı ve Parola girin.
Veritabanı özellikleri
-
Veritabanı adı: Bir veritabanını belirtmek için kullanabileceğiniz iki yöntem vardır:
- 1. Yöntem - Bir listeden seç: Veritabanı yükle'ye tıklayın ve ardından bir veritabanı seçin.
- 2. Yöntem - Manuel olarak: Veritabanı adını manuel olarak gir'i seçin ve ardından veritabanı adını girin.
Veri yükleme
-
SAS belirteci: ADLS depolama hesabına erişmek için Microsoft Fabric tarafından kullanılacak SAS belirteci. Mevcut verileri kaydediyorsanız bu gerekli değildir.
Ad
Bağlantının görünen adı.
Önkoşullar
Veritabanı izinleri
Microsoft Fabric connector ayarlarının ODBC Erişimi bölümünde Azure Active Directory Kullanıcısı/Hizmet İlkesi, Katkıda Bulunan rolünü almalıdır.
Sürücü kurulumu
Bir sürücü yalnızca veritabanına Veri Hareketi ağ geçidi üzerinden erişiyorsanız gereklidir. Böyle bir durumda, sürücüyü Veri Hareketi ağ geçidi makinesine yüklemeniz gerekir.
driver öğesini, sürücü yükleme yardımcı programını kullanarak (önerilir) veya manuel olarak yükleyebilirsiniz. Manuel yükleme, nadir görülen şekilde sürücü yükleme yardımcı programında bir sorunla karşılaşmanız durumunda denenmelidir.
Sürücüyü yüklemek için sürücü yükleme yardımcı programı kullanma
Bu bölümde, gerekli driver öğesinin nasıl yükleneceği açıklanmıştır. Sürece, gerekli driver öğesini otomatik olarak indirecek, yükleyecek ve yapılandıracak bir komut dosyası çalıştırma işlemi dahildir. Gerektiğinde driver öğesini güncellemek ve kaldırmak için de komut dosyaları çalıştırabilirsiniz.
Yüklemeyi hazırlama
-
Python 3.6 veya daha yeni bir sürümünün Veri Hareketi ağ geçidi sunucusunda yüklü olduğundan emin olun.
Python, çoğu Linux dağıtımında önceden yüklenmiş şekilde sunulur. Aşağıdaki komutu çalıştırarak sisteminizde yüklü olan Python sürümünü öğrenebilirsiniz:
python3 --version
driver uygulamasını yükleme
driver öğesini indirip yüklemek için:
-
Veri Hareketi ağ geçidi hizmetini durdurun:
sudo systemctl stop repagent
-
İsteğe bağlı olarak hizmetin durduğunu doğrulayın:
sudo systemctl status repagent
Durum aşağıdaki gibi olmalıdır:
Active: inactive (dead) since <timestamp> ago
-
Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:
opt/qlik/gateway/movement/drivers/bin
-
Şu komutu çalıştırın:
Söz Dizimi:
./install fabric
driver yüklenemiyorsa (erişim kısıtlamaları veya teknik sorunlar nedeniyle) driver öğesini nereden indireceğiniz ve Veri Hareketi ağ geçidi makinesinde nereye kopyalayacağınız konusunda size talimat veren bir mesaj görünür. Bu işlemi yaptıktan sonra install fabric komutunu tekrar çalıştırın.
Aksi durumda, driver öğesinin EULA'sı görünür.
-
Şunlardan birini yapın:
- EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
- EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
- Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.
-
Şunlardan birini yapın:
- EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
- EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.
-
EULA'yı tekrar görüntülemek için "v" yazıp [Enter] tuşuna basın.
-
Yüklemenin tamamlanmasını ("Tamamlandı!" ifadesiyle belirtilir) bekleyin ve ardından Veri Hareketi ağ geçidi hizmetini başlatın:
sudo systemctl start repagent
-
İsteğe bağlı olarak hizmetin başladığını doğrulayın:
sudo systemctl status repagent
Durum aşağıdaki gibi olmalıdır:
Active: active (running) since <timestamp> ago
driver yüklenir.
driver öğesini güncelleme
Sağlanan driver öğesini yüklemeden önce driver öğesinin eski sürümlerini kaldırmak istiyorsanız güncelleme komutunu çalıştırın.
driver öğesini indirip güncellemek için:
-
Veri Hareketi ağ geçidi hizmetini durdurun:
sudo systemctl stop repagent
-
İsteğe bağlı olarak hizmetin durduğunu doğrulayın:
sudo systemctl status repagent
Durum aşağıdaki gibi olmalıdır:
Active: inactive (dead) since <timestamp> ago
-
Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:
opt/qlik/gateway/movement/drivers/bin
-
Şu komutu çalıştırın:
Söz Dizimi:
./update fabric
driver yüklenemiyorsa (erişim kısıtlamaları veya teknik sorunlar nedeniyle) driver öğesini nereden indireceğiniz ve Veri Hareketi ağ geçidi makinesinde nereye kopyalayacağınız konusunda size talimat veren bir mesaj görünür. Bu işlemi yaptıktan sonra update fabric komutunu tekrar çalıştırın.
Aksi durumda, driver öğesinin EULA'sı görünür.
-
Şunlardan birini yapın:
- EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
- EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
- Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.
-
Şunlardan birini yapın:
- EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
- EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.
- EULA'yı baştan incelemek için "v" yazıp [Enter] tuşuna basın.
-
Yüklemenin tamamlanmasını ("Tamamlandı!" ifadesiyle belirtilir) bekleyin ve ardından Veri Hareketi ağ geçidi hizmetini başlatın:
sudo systemctl start repagent
-
İsteğe bağlı olarak hizmetin başladığını doğrulayın:
sudo systemctl status repagent
Durum aşağıdaki gibi olmalıdır:
Active: active (running) since <timestamp> ago
Eski driver kaldırılacak ve yeni driver yüklenecektir.
driver öğesini kaldırma
driver öğesini kaldırmak istiyorsanız kaldırma komutunu çalıştırın.
driver öğesini kaldırmak için:
-
Bu bağlayıcıyı kullanmak için yapılandırılan tüm görevleri durdurun.
-
Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:
opt/qlik/gateway/movement/drivers/bin
-
Şu komutu çalıştırın:
Söz Dizimi:
./uninstall fabric
driver kaldırılacaktır.
Sürücüyü manuel olarak yükleme
driver öğesini manuel olarak yüklemeyi yalnızca otomatik sürücü yükleme başarıyla tamamlanmadığında denemelisiniz.
Hem bir ODBC sürücüsü hem de bir JDBC sürücüsü yüklemeniz gerekir.
ODBC sürücüsünün yüklenmesi
Veri Hareketi ağ geçidi yüklendikten sonra msodbcsql<version>.x86_64.rpm sürücüsünü indirin. /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml dizininde binary-artifacts altında desteklenen bir sürümün doğrudan indirme bağlantısını bulabilirsiniz. İndirme tamamlandığında RPM'yi Veri Hareketi ağ geçidi makinesine kopyalayın.
-
Veri Hareketi ağ geçidi hizmetini durdurun:
sudo systemctl stop repagent
-
İsteğe bağlı olarak hizmetin durduğunu doğrulayın:
sudo systemctl status repagent
-
Sürücüyü Veri Hareketi ağ geçidi makinesine yükleyin.
-
Sürücü konumunu
site_arep_login.sh
dosyasına aşağıdaki gibi kopyalayın:echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh
Örnek:
echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql17/lib64/" >> site_arep_login.sh
Bu, sürücüyü "LD_LIBRARY_PATH" değişkenine ekler ve site_arep_login.sh dosyasındaki sürücü konumunu günceller.
-
İsteğe bağlı olarak sürücü konumunun kopyalandığını doğrulayın:
cat site_arep_login.sh
-
Veri Hareketi ağ geçidi hizmetini başlatın:
sudo systemctl start repagent
-
İsteğe bağlı olarak hizmetin başlatıldığını doğrulayın:
sudo systemctl status repagent
Durum aşağıdaki gibi olmalıdır:
Active: active (running) since <timestamp> ago
Durum aşağıdaki gibi olmalıdır:
Active: inactive (dead) since <timestamp> ago
JDBC sürücüsünün yüklenmesi
-
/opt/qlik/gateway/movement/drivers/manifests/fabric.yaml dizinindeki binary-artifacts altında listelenen JAR dosyalarını indirin. Ardından dosyaları Veri Hareketi ağ geçidi makinesinde aşağıdaki klasöre kopyalayın:
/opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib
-
Hizmeti yeniden başlatma bölümünde açıklanan komutu çalıştırarak Veri Hareketi ağ geçidi hizmetini yeniden başlatın
Bağlantı Noktaları
Giden iletişim için bağlantı noktası 1433'ü açın.
Sınırlamalar ve dikkate alınacak noktalar
Aşağıdaki işlemler desteklenmez ve hedefe uygulanmayacaktır:
- Sütun için RENAME işlemi
- Sütun için ADD/DROP/ALTER işlemi
BLOB ve BYTES sütunları desteklenmez. Kaynak tablolarınız bu veri türlerinin bulunduğu sütunlar içeriyorsa bunları STRING sütunlarına dönüştürmek veya çoğaltmadan hariç tutmak için bir dönüşüm kullanabilirsiniz.
Veri türleri
Aşağıdaki tabloda Qlik Cloud kullanırken desteklenen Microsoft Fabric veri türleri ve Qlik Cloud veri türlerine ait varsayılan eşleme gösteriliyor.
Yerel veri türü bilgileri korunur ve veri kümesi görünümlerinde Yerel veri türü sütununda görüntülenir. Sütun görünür değilse veri kümesi görünümünün sütun seçicisini açmanız ve Yerel veri türü sütununu seçmeniz gerekir.
Qlik Talend Data Integration veri türleri | Microsoft Fabric veri türleri |
---|---|
BOOL |
BIT |
BYTES |
Uzunluk 1-8000 ise: VARBINARY (Bayt Olarak Uzunluk) Uzunluk 8000'i aşıyorsa: VARBINARY (8000) |
DATE |
DATE |
TIME |
Ölçek 0-6 ise: TIME (Ölçek) Ölçek 6'yı aşıyorsa: TIME (6) |
TIMESTAMP |
Ölçek 0-6 ise: DATETIME2 (Ölçek) Ölçek 6'yı aşıyorsa: DATETIME2 (6) |
INT1 |
SMALLINT |
INT2 |
SMALLINT |
INT4 |
INT |
INT8 |
BIGINT |
NUMERIC |
DECIMAL (p,s) |
REAL4 |
FLOAT(24) |
REAL8 |
FLOAT(53) |
STRING |
Uzunluk 1-8000 ise: VARCHAR (Bayt Olarak Uzunluk) Bayt olarak uzunluk 8000'i aşıyorsa: VARCHAR (8000) |
UINT1 |
SMALLINT |
UINT2 |
INT |
UINT4 |
BIGINT |
UINT8 |
DECIMAL (20,0) |
WSTRING |
Uzunluk 1-8000 ise: VARCHAR (Bayt Olarak Uzunluk) Bayt olarak uzunluk 8000'i aşıyorsa: VARCHAR (8000) |
BLOB |
VARBINARY (8000) Bilgi notu
|
NCLOB |
VARCHAR (8000) |
CLOB |
VARCHAR (8000) |