跳到主要內容 跳至補充內容

Microsoft Fabric

您可以使用 Microsoft Fabric 作為資料管道或複寫任務中的目標資料平台。在資料管道中,可以在目標平台執行各種 ELT 操作,包括儲存資料、轉換資料、建立資料超市和註冊資料。另一方面,複寫任務涉及將資料直接從來源系統複寫至具有基本轉換功能但不支援 ELT 操作的目標系統。

資訊備註需要 資料移動閘道 2023.5.15 或更高版本。

設定 Microsoft Fabric 作為目標涉及:

設定雲端暫存區域

資訊備註若您註冊現有資料,您不需要設定雲端暫存區域。

您也需要有 Azure Data Lake Storage 雲端暫存區域,資料和變更在套用和儲存之前會在該區暫存。如需設定連線至 Azure Data Lake Storage 的資訊,請參閱 Azure Data Lake Storage

設定 Microsoft Fabric 連線屬性

提供 Azure 資料湖儲存目標設定後,進行下列事項:

  1. 連線中,按一下建立連線

  2. 選取 Microsoft Fabric 目標連接器,然後提供下列設定:

資料目標

資訊備註此欄位無法用於 Qlik Talend Cloud 啟動器 訂閱,因為此訂閱層級不支援 資料移動閘道

只有在無法從 Qlik Cloud 存取目標資料庫且只能使用私人連結存取時 (例如若將在虛擬私人雲端中),才需要 資料移動閘道。在此情況下,選取您要用來存取目標資料庫的 資料移動閘道

根據您的使用情況,這會是為了從資料來源移動資料而部署的相同或不同 資料移動閘道

如需關於 資料移動閘道 使用案例的資訊,請參閱 何時需要 資料移動閘道?常見使用案例

若目標資料庫可從 Qlik Cloud 直接存取,請選取

資訊備註透過 資料移動閘道 存取目標資料庫時,您也需要在 資料移動閘道 機器上安裝適當的驅動程式。如需詳細資訊,請參閱以下的 Microsoft Fabric

連線屬性

  • 伺服器您正在使用的 Microsoft Fabric 資料倉庫伺服器的名稱。

帳戶屬性

驗證方法:選擇以下其中一項:

  • Azure Active Directory 服務主體

    然後在指定欄位中提供您的用戶端 ID用戶端密碼

  • Azure Active Directory 使用者主體

    然後在指定欄位中提供使用者名稱 密碼

資料庫屬性

  • 資料庫名稱:有兩種方法可用來指定資料庫:

    • 方法 1 - 從清單中選取:按一下載入資料庫,然後選取資料庫。
    • 方法 2 - 手動:選取手動輸入資料庫名稱,然後輸入資料庫名稱。

資料載入

  • SAS Token:將會由 Microsoft Fabric 使用以存取 ADLS 儲存帳戶的 SAS Token。若您註冊現有資料,則不需要這麼做。

名稱

連線的顯示名稱。

必要條件

對資料庫的權限

必須向 Microsoft Fabric 連接器 設定的 ODBC 存取區段中指定的 Azure Active Directory 使用者/服務主體授予參與者角色。

驅動程式的設定

只有在透過 資料移動閘道 存取資料庫時,才需要驅動程式。在這類情況下,您需要將驅動程式安裝在 資料移動閘道 機器。

您可以使用驅動程式安裝公用程式 (建議) 或手動安裝 driver。只能在不太可能發生的事件 (您在使用驅動程式安裝公用程式時遇到問題) 中嘗試手動安裝。

使用驅動程式安裝公用程式來安裝驅動程式

此區段描述如何安裝所需的 driver。該流程涉及執行將會自動下載、安裝並設定所需 driver 的指令碼。您也可以執行指令碼,以根據需求更新並解除安裝 driver

  • 確認 Python 3.6 或更高版本安裝於 資料移動 閘道伺服器。

    Python 會預先安裝在大部分的 Linux 發行版。您可以執行下列命令,以查看哪個 Python 版本安裝在您的系統上:

    python3 --version

若要下載並安裝 driver

  1. 停止 Data Movement gateway 服務:

    sudo systemctl stop repagent

  2. 可自選,確認服務已停止:

    sudo systemctl status repagent

    狀態應如下所示:

    Active: inactive (dead) since <timestamp> ago

  3. 資料移動 閘道機器上,將工作目錄變更為:

    opt/qlik/gateway/movement/drivers/bin

  4. 執行下列命令:

    語法:

    ./install fabric

    若無法下載 driver (由於存取限制或技術問題),將會顯示訊息,指示您到哪裡下載 driver 以及在 資料移動 閘道機器上的何處複製。完成後,再次執行 install fabric 命令。

    否則,就會顯示 driver 的 EULA。

  5. 執行下列其中一個動作:

    • 重複按下 [Enter] 以緩慢瀏覽 EULA。
    • 重複按下空格鍵以快速瀏覽 EULA。
    • 按下 q 以結束授權文字並呈現 EULA 接受選項。
  6. 執行下列其中一個動作:

    • 輸入「y」並按下 [Enter] 以接受 EULA 並開始安裝。
    • 輸入「n」並按下 [Enter] 以拒絕 EULA 並退出安裝。
    • 輸入「v」並按下 [Enter] 以再次檢視 EULA。

  7. 將會安裝 driver

  8. 等待安裝完成 (以「完成!」指示),然後開始 Data Movement gateway 服務:

    sudo systemctl start repagent

  9. 可自行選擇確認服務已開始:

    sudo systemctl status repagent

    狀態應如下所示:

    Active: active (running) since <timestamp> ago

若您想要在安裝提供的 driver 之前解除安裝先前的 driver 版本,請執行更新命令。

若要下載並更新 driver

  1. 停止 Data Movement gateway 服務:

    sudo systemctl stop repagent

  2. 可自選,確認服務已停止:

    sudo systemctl status repagent

    狀態應如下所示:

    Active: inactive (dead) since <timestamp> ago

  3. 資料移動 閘道機器上,將工作目錄變更為:

    opt/qlik/gateway/movement/drivers/bin

  4. 執行下列命令:

    語法:

    ./update fabric

    若無法下載 driver (由於存取限制或技術問題),將會顯示訊息,指示您到哪裡下載 driver 以及在 資料移動 閘道機器上的何處複製。完成後,再次執行 update fabric 命令。

    否則,就會顯示 driver 的 EULA。

  5. 執行下列其中一個動作:

    • 重複按下 [Enter] 以緩慢瀏覽 EULA。
    • 重複按下空格鍵以快速瀏覽 EULA。
    • 按下 q 以結束授權文字並呈現 EULA 接受選項。
  6. 執行下列其中一個動作:

    • 輸入「y」並按下 [Enter] 以接受 EULA 並開始安裝。
    • 輸入「n」並按下 [Enter] 以拒絕 EULA 並退出安裝。
    • 輸入「v」並按下 [Enter] 以從頭檢閱 EULA。
  7. 將會解除安裝舊版 driver,並安裝新版 driver

  8. 等待安裝完成 (以「完成!」指示),然後開始 Data Movement gateway 服務:

    sudo systemctl start repagent

  9. 可自行選擇確認服務已開始:

    sudo systemctl status repagent

    狀態應如下所示:

    Active: active (running) since <timestamp> ago

若您想要解除安裝 driver,請執行解除安裝命令。

若要解除安裝 driver

  1. 停止設定為使用此連接器的所有任務。

  2. 資料移動 閘道機器上,將工作目錄變更為:

    opt/qlik/gateway/movement/drivers/bin

  3. 執行下列命令:

    語法:

    ./uninstall fabric

    將會解除安裝 driver

手動安裝驅動程式

只有在自動驅動程式安裝無法成功完成時,才能嘗試手動安裝 driver

您需要安裝 ODBC 驅動程式和 JDBC 驅動程式。

安裝 資料移動閘道 後,下載 msodbcsql<version>.x86_64.rpm 驅動程式。您可以在 /opt/qlik/gateway/movement/drivers/manifests/fabric.yamlbinary-artifacts 之下找到支援版本的直接下載連結。下載完成後,將 RPM 複製到 資料移動閘道 機器。

  1. 停止 Data Movement gateway 服務:

    sudo systemctl stop repagent

  2. 可自選,確認服務已停止:

    sudo systemctl status repagent

  3. 狀態應如下所示:

    Active: inactive (dead) since <timestamp> ago

  4. 將驅動程式安裝在 Data Movement gateway 機器。

  5. 複製驅動程式位置至 site_arep_login.sh 檔案,如下所示:

    echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

    範例:

    echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql17/lib64/" >> site_arep_login.sh

    這將新增驅動程式至「LD_LIBRARY_PATH」並更新位於以下的驅動程式位置: site_arep_login.sh 檔案。

  6. 可自選,確認已複製驅動程式位置:

    cat site_arep_login.sh
  7. 開始 Data Movement gateway 服務:

    sudo systemctl start repagent

  8. 可自選,確認服務已開始:

    sudo systemctl status repagent

    狀態應如下所示:

    Active: active (running) since <timestamp> ago

  1. 下載列於 /opt/qlik/gateway/movement/drivers/manifests/fabric.yamlbinary-artifacts 之下的 JAR 檔案。然後將檔案複製到 資料移動閘道 機器上的下列資料夾:

    /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

  2. 執行 重新啟動服務 中描述的命令,以重新啟動 資料移動閘道 服務

警告備註若您正在使用 Microsoft SQL Server 資料來源 (基於 CDC 或基於記錄),則解除安裝 Fabric 驅動程式也會中斷與 SQL Server 的連線,因為這共用相同的驅動程式。

連接埠

開啟用於傳出通訊的連接埠 1433。

限制和考慮事項

不支援下列操作,不會套用至目標:

  • 重新命名欄
  • 新增/捨棄/改變欄

不支援 BLOB 和 BYTES 欄。若來源表格包含具有這些資料類型的欄,您可以使用轉換,以轉換為 STRING 或從複寫排除。

資料類型

下表顯示使用 Qlik Cloud 時支援的 Microsoft Fabric 資料類型和來自 Qlik Cloud 資料類型的預設對應。

會保留原生資料類型資訊,並顯示在資料集檢視的原生資料類型欄中。若看不見欄,您需要開啟資料集檢視的欄選擇器並選取原生資料類型欄。

支援的資料類型
Qlik Talend Data Integration 資料類型 Microsoft Fabric 資料類型

BOOL

位元

位元組

若長度為 1-8000,則:

VARBINARY (以位元組為單位的長度)

若長度超過 8000,則:

VARBINARY (8000)

日期

日期

時間

若刻度為 0-6,則:

時間 (刻度)

若刻度超過 6,則:

時間 (6)

時間戳記

若刻度為 0-6,則:

DATETIME2 (刻度)

若刻度超過 6,則:

DATETIME2 (6)

INT1

SMALLINT

INT2

SMALLINT

INT4

INT

INT8

BIGINT

數字

小數點 (p,s)

REAL4

FLOAT(24)

REAL8

FLOAT(53)

字串

若以位元組為單位的長度為 1-8000,則:

VARCHAR (以位元組為單位的長度)

若以位元組為單位的長度超過 8000,則:

VARCHAR (8000)

UINT1

SMALLINT

UINT2

INT

UINT4

BIGINT

UINT8

小數點 (20,0)

WSTRING

若以位元組為單位的長度為 1-8000,則:

VARCHAR (以位元組為單位的長度)

若以位元組為單位的長度超過 8000,則:

VARCHAR (8000)

BLOB

VARBINARY (8000)

資訊備註
  • VARBINARY (8000) 適用於整個記錄。因此,例如,如果記錄包含兩個 BLOB 欄,則總大小不能超過 8000 位元組。
  • 擷取變更時,可以擷取的位元組數量上限為 4000。

NCLOB

VARCHAR (8000)

CLOB

VARCHAR (8000)

資訊備註不支援完整 LOB 資料類型。如需在 移動 中納入限制大小 LOB 資料類型的資訊,請參閱 從資料來源登陸資料

此頁面是否對您有幫助?

若您發現此頁面或其內容有任何問題——錯字、遺漏步驟或技術錯誤——請告知我們可以如何改善!