Microsoft Fabric
您可以使用 Microsoft Fabric 作為資料管道或複寫任務中的目標資料平台。在資料管道中,可以在目標平台執行各種 ELT 操作,包括儲存資料、轉換資料、建立資料超市和註冊資料。另一方面,複寫任務涉及將資料直接從來源系統複寫至具有基本轉換功能但不支援 ELT 操作的目標系統。
設定 Microsoft Fabric 作為目標涉及:
設定雲端暫存區域
您也需要有 Azure Data Lake Storage 雲端暫存區域,資料和變更在套用和儲存之前會在該區暫存。如需設定連線至 Azure Data Lake Storage 的資訊,請參閱 Azure Data Lake Storage。
設定 Microsoft Fabric 連線屬性
提供 Azure 資料湖儲存目標設定後,進行下列事項:
-
在連線中,按一下建立連線。
-
選取 Microsoft Fabric 目標連接器,然後提供下列設定:
資料目標
資料閘道
只有在無法從 Qlik Cloud 存取目標資料庫且只能使用私人連結存取時 (例如若將在虛擬私人雲端中),才需要 資料移動閘道。在此情況下,選取您要用來存取目標資料庫的 資料移動閘道。
根據您的使用情況,這會是為了從資料來源移動資料而部署的相同或不同 資料移動閘道。
如需關於 資料移動閘道 使用案例的資訊,請參閱 何時需要 資料移動閘道? 和 常見使用案例。
若目標資料庫可從 Qlik Cloud 直接存取,請選取無。
連線屬性
- 伺服器:您正在使用的 Microsoft Fabric 資料倉庫伺服器的名稱。
帳戶屬性
驗證方法:選擇以下其中一項:
-
Azure Active Directory 服務主體
然後在指定欄位中提供您的用戶端 ID 和用戶端密碼。
-
Azure Active Directory 使用者主體
然後在指定欄位中提供使用者名稱 和密碼。
資料庫屬性
-
資料庫名稱:有兩種方法可用來指定資料庫:
- 方法 1 - 從清單中選取:按一下載入資料庫,然後選取資料庫。
- 方法 2 - 手動:選取手動輸入資料庫名稱,然後輸入資料庫名稱。
資料載入
-
SAS Token:將會由 Microsoft Fabric 使用以存取 ADLS 儲存帳戶的 SAS Token。若您註冊現有資料,則不需要這麼做。
名稱
連線的顯示名稱。
必要條件
對資料庫的權限
必須向 Microsoft Fabric 連接器 設定的 ODBC 存取區段中指定的 Azure Active Directory 使用者/服務主體授予參與者角色。
驅動程式的設定
只有在透過 資料移動閘道 存取資料庫時,才需要驅動程式。在這類情況下,您需要將驅動程式安裝在 資料移動閘道 機器。
您可以使用驅動程式安裝公用程式 (建議) 或手動安裝 driver。只能在不太可能發生的事件 (您在使用驅動程式安裝公用程式時遇到問題) 中嘗試手動安裝。
使用驅動程式安裝公用程式來安裝驅動程式
此區段描述如何安裝所需的 driver。該流程涉及執行將會自動下載、安裝並設定所需 driver 的指令碼。您也可以執行指令碼,以根據需求更新並解除安裝 driver。
準備安裝
-
確認 Python 3.6 或更高版本安裝於 資料移動 閘道伺服器。
Python 會預先安裝在大部分的 Linux 發行版。您可以執行下列命令,以查看哪個 Python 版本安裝在您的系統上:
python3 --version
安裝 driver
若要下載並安裝 driver:
-
停止 Data Movement gateway 服務:
sudo systemctl stop repagent
-
可自選,確認服務已停止:
sudo systemctl status repagent
狀態應如下所示:
Active: inactive (dead) since <timestamp> ago
-
在 資料移動 閘道機器上,將工作目錄變更為:
opt/qlik/gateway/movement/drivers/bin
-
執行下列命令:
語法:
./install fabric
若無法下載 driver (由於存取限制或技術問題),將會顯示訊息,指示您到哪裡下載 driver 以及在 資料移動 閘道機器上的何處複製。完成後,再次執行 install fabric 命令。
否則,就會顯示 driver 的 EULA。
-
執行下列其中一個動作:
- 重複按下 [Enter] 以緩慢瀏覽 EULA。
- 重複按下空格鍵以快速瀏覽 EULA。
- 按下 q 以結束授權文字並呈現 EULA 接受選項。
-
執行下列其中一個動作:
- 輸入「y」並按下 [Enter] 以接受 EULA 並開始安裝。
- 輸入「n」並按下 [Enter] 以拒絕 EULA 並退出安裝。
-
輸入「v」並按下 [Enter] 以再次檢視 EULA。
-
等待安裝完成 (以「完成!」指示),然後開始 Data Movement gateway 服務:
sudo systemctl start repagent
-
可自行選擇確認服務已開始:
sudo systemctl status repagent
狀態應如下所示:
Active: active (running) since <timestamp> ago
將會安裝 driver。
更新 driver
若您想要在安裝提供的 driver 之前解除安裝先前的 driver 版本,請執行更新命令。
若要下載並更新 driver:
-
停止 Data Movement gateway 服務:
sudo systemctl stop repagent
-
可自選,確認服務已停止:
sudo systemctl status repagent
狀態應如下所示:
Active: inactive (dead) since <timestamp> ago
-
在 資料移動 閘道機器上,將工作目錄變更為:
opt/qlik/gateway/movement/drivers/bin
-
執行下列命令:
語法:
./update fabric
若無法下載 driver (由於存取限制或技術問題),將會顯示訊息,指示您到哪裡下載 driver 以及在 資料移動 閘道機器上的何處複製。完成後,再次執行 update fabric 命令。
否則,就會顯示 driver 的 EULA。
-
執行下列其中一個動作:
- 重複按下 [Enter] 以緩慢瀏覽 EULA。
- 重複按下空格鍵以快速瀏覽 EULA。
- 按下 q 以結束授權文字並呈現 EULA 接受選項。
-
執行下列其中一個動作:
- 輸入「y」並按下 [Enter] 以接受 EULA 並開始安裝。
- 輸入「n」並按下 [Enter] 以拒絕 EULA 並退出安裝。
- 輸入「v」並按下 [Enter] 以從頭檢閱 EULA。
-
等待安裝完成 (以「完成!」指示),然後開始 Data Movement gateway 服務:
sudo systemctl start repagent
-
可自行選擇確認服務已開始:
sudo systemctl status repagent
狀態應如下所示:
Active: active (running) since <timestamp> ago
將會解除安裝舊版 driver,並安裝新版 driver。
解除安裝 driver
若您想要解除安裝 driver,請執行解除安裝命令。
若要解除安裝 driver:
-
停止設定為使用此連接器的所有任務。
-
在 資料移動 閘道機器上,將工作目錄變更為:
opt/qlik/gateway/movement/drivers/bin
-
執行下列命令:
語法:
./uninstall fabric
將會解除安裝 driver。
手動安裝驅動程式
只有在自動驅動程式安裝無法成功完成時,才能嘗試手動安裝 driver。
您需要安裝 ODBC 驅動程式和 JDBC 驅動程式。
安裝 ODBC 驅動程式
安裝 資料移動閘道 後,下載 msodbcsql<version>.x86_64.rpm 驅動程式。您可以在 /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml 的 binary-artifacts 之下找到支援版本的直接下載連結。下載完成後,將 RPM 複製到 資料移動閘道 機器。
-
停止 Data Movement gateway 服務:
sudo systemctl stop repagent
-
可自選,確認服務已停止:
sudo systemctl status repagent
-
將驅動程式安裝在 Data Movement gateway 機器。
-
複製驅動程式位置至
site_arep_login.sh
檔案,如下所示:echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh
範例:
echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql17/lib64/" >> site_arep_login.sh
這將新增驅動程式至「LD_LIBRARY_PATH」並更新位於以下的驅動程式位置: site_arep_login.sh 檔案。
-
可自選,確認已複製驅動程式位置:
cat site_arep_login.sh
-
開始 Data Movement gateway 服務:
sudo systemctl start repagent
-
可自選,確認服務已開始:
sudo systemctl status repagent
狀態應如下所示:
Active: active (running) since <timestamp> ago
狀態應如下所示:
Active: inactive (dead) since <timestamp> ago
安裝 JDBC 驅動程式
-
下載列於 /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml 的 binary-artifacts 之下的 JAR 檔案。然後將檔案複製到 資料移動閘道 機器上的下列資料夾:
/opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib
-
執行 重新啟動服務 中描述的命令,以重新啟動 資料移動閘道 服務
連接埠
開啟用於傳出通訊的連接埠 1433。
限制和考慮事項
不支援下列操作,不會套用至目標:
- 重新命名欄
- 新增/捨棄/改變欄
不支援 BLOB 和 BYTES 欄。若來源表格包含具有這些資料類型的欄,您可以使用轉換,以轉換為 STRING 或從複寫排除。
資料類型
下表顯示使用 Qlik Cloud 時支援的 Microsoft Fabric 資料類型和來自 Qlik Cloud 資料類型的預設對應。
會保留原生資料類型資訊,並顯示在資料集檢視的原生資料類型欄中。若看不見欄,您需要開啟資料集檢視的欄選擇器並選取原生資料類型欄。
Qlik Talend Data Integration 資料類型 | Microsoft Fabric 資料類型 |
---|---|
BOOL |
位元 |
位元組 |
若長度為 1-8000,則: VARBINARY (以位元組為單位的長度) 若長度超過 8000,則: VARBINARY (8000) |
日期 |
日期 |
時間 |
若刻度為 0-6,則: 時間 (刻度) 若刻度超過 6,則: 時間 (6) |
時間戳記 |
若刻度為 0-6,則: DATETIME2 (刻度) 若刻度超過 6,則: DATETIME2 (6) |
INT1 |
SMALLINT |
INT2 |
SMALLINT |
INT4 |
INT |
INT8 |
BIGINT |
數字 |
小數點 (p,s) |
REAL4 |
FLOAT(24) |
REAL8 |
FLOAT(53) |
字串 |
若以位元組為單位的長度為 1-8000,則: VARCHAR (以位元組為單位的長度) 若以位元組為單位的長度超過 8000,則: VARCHAR (8000) |
UINT1 |
SMALLINT |
UINT2 |
INT |
UINT4 |
BIGINT |
UINT8 |
小數點 (20,0) |
WSTRING |
若以位元組為單位的長度為 1-8000,則: VARCHAR (以位元組為單位的長度) 若以位元組為單位的長度超過 8000,則: VARCHAR (8000) |
BLOB |
VARBINARY (8000) 資訊備註
|
NCLOB |
VARCHAR (8000) |
CLOB |
VARCHAR (8000) |