連線到 SaaS 應用程式
您可以從 Qlik Talend Data Integration 中的大量 SaaS 應用程式登陸或複寫資料。
若要查看所有支援的應用程式,請至 Supported SaaS applications。
為了為數量不斷增長的雲端應用程式來源迅速開發連接器,Qlik 正在使用標準 API 和生成式 AI 技術建立 Qlik Talend Data Integration 的應用程式連接器。
連接器分類
若要加速新連接器的可用性,我們將會為特定使用案例開始開發連接器,然後以精簡版標籤發佈,或標記 。
精簡版連接器有簡化的一般可用 (GA) 流程,這將在主要資料完整性、安全性和可靠性問題的方面按照與任何其他連接器相同的服務層級協議 (SLA)。精簡版連接器變得普遍可用時,受到 Qlik 完全支援。
若 Qlik 能夠從客戶蒐集充足的意見回饋並能夠驗證其他使用案例,則精簡版連接器將升級至標準連接器。
分類 | 標準 | 精簡版 |
---|---|---|
分類 |
|
快速追蹤來源:
|
一般可用性 | 在嚴格 QA 期間和試用流程中完全驗證的品質並識別所有主要技術問題。根據支援 SLA 回應並處理問題。 | 簡化的 GA 流程可為使用者降低價值實現時間。在主要資料完整性、安全性和可靠性問題方面按照與標準連接器相同的 SLA。 |
使用案例 | 完整或幾乎完整的使用案例涵蓋範圍 |
部分或特定使用案例涵蓋範圍。 |
SLA | 基於定價方案的完整 SLA。 |
基於定價方案的完整 SLA。 增強回應時間不同。 |
定價 | 基於每月容量的使用方式。 | 基於每月容量的使用方式。 |
連線到 SaaS 應用程式
連線至 SaaS 應用程式可能需要您設定 資料移動閘道,視您的使用情況而定。如需詳細資訊,請參閱 何時需要 資料移動閘道?。
Qlik 已發佈新的導覽體驗,目前為選擇性質。若租用戶管理員已將新的導覽切換為開啟:
- 用於存取資料整合的啟動器功能表 (
) 將位於左上方。
- 先前透過新增按鈕 (已移除) 執行的動作,現在的執行方式是切換至特定內容 (例如資料整合 > 連線),並按一下建立 <object> 按鈕。
如需變更的詳細描述,請參閱 新的 Qlik Talend 資料整合 平台導覽。
-
連線到 SaaS 應用程式的第一步是將連線新增至資料來源。您可以採用幾種方式執行此操作。
-
在連線中,按一下建立連線。
-
按一下建立連線,在此會列出來源連線 (例如,在資料任務設定精靈中)。
選取類別中的應用程式,以將連接器清單篩選為 SaaS 應用程式連接器。
您也可以從最近使用的連接器中選取。
-
-
選取要連線到的應用程式。
-
完成連線詳細資訊以驗證連線。不同的 SaaS 應用程式會有不同的連線詳細資訊和驗證流程。
如需更多資訊,請至 連線到 SaaS 應用程式 並選取資料來源。
選取開啟連線中繼資料,並在準備好後按一下建立。
-
會顯示中繼資料管理員,您可在此定義連線的中繼資料。
按一下產生中繼資料以根據來源資料取樣建立中繼資料。
如需更多關於中繼資料載入的資訊,請參閱 掃描資料以進行中繼資料產生。
-
選取您要使用的來源資料集,然後按一下確定。
-
選取選項以掃描資料。您可以執行完整掃描或快速掃描。
完整掃描將會更準確,但處理時間較長。若您選取完整掃描,此資料將會在登陸資料時用於初始載入。
您也可以設定預設中繼資料設定。
在準備好後,按一下產生中繼資料。
中繼資料產生完成後,您可以在登陸或上線任務中使用連線。
變更處理
您可以在資料任務的設定中設定要使用哪個更新方法。資料任務準備後,就無法變更更新方法。可用的更新方法取決於任務是用於登陸、複寫或資料湖中的登陸資料。
用於登陸的更新方法
-
變更資料擷取 (CDC)
登陸以完整載入開始。之後會根據日期欄位使用增量載入,將登陸的資料保持為最新狀態。CDC 不一定受到所有資料來源的支援。
資訊備註不支援 DELETE 操作。這表示,若在來源中刪除列,不會在登陸資料中刪除。若刪除處理很重要,請改用載入並比較。使用 資料移動閘道 時,您可在設定 > 執行階段中,設定從來源讀取變更之間的間隔。不使用 資料移動閘道 時,您可使用排程器來設定間隔。如需詳細資訊,請參閱 在不使用 資料移動閘道 時排程 CDC 任務。
-
載入並比較
登陸會從來源執行僅限完整載入。例如,如果來源不支援 CDC,或者若您希望 DELETE 操作 (不受 CDC 的支援) 散佈到目標,這很實用。載入並比較可搭配任何支援的資料來源使用,也可以排程定期發生。
複寫至資料庫或資料倉庫目標時的更新方法
- 完整載入:將資料從所選來源表格載入到目標平台,並建立目標表格 (如有必要)。完整載入會在任務開始時自動發生,但如有需要,也可以手動執行。
-
套用變更:以對來源表格所做的任何變更更新目標表格。
-
儲存變更:在變更表格 (每個來源表格一個)中將變更儲存至來源表格。
如需詳細資訊,請參閱 儲存變更。
使用 資料移動閘道 時,會幾乎即時地從來源擷取變更。在沒有 資料移動閘道 的情況下工作時 (例如透過 Qlik Talend Cloud 啟動器 訂閱),會根據排程器設定擷取變更。預設變更擷取間隔為每六小時一次。如需詳細資訊,請參閱 在不使用 資料移動閘道 時排程任務。
複寫至雲端儲存 (資料湖) 時的更新方法
-
變更資料擷取 (CDC):資料湖登陸任務以完整載入開始 (在此期間,會登陸所有選取的表格)。然後登陸資料會使用 CDC (變更資料擷取) 技術保持最新狀態。
資訊備註不支援 DDL 操作的 CDC (變更資料擷取)。使用 資料移動閘道 時,會幾乎即時地從來源擷取變更。在沒有 資料移動閘道 的情況下工作時,會根據排程器設定擷取變更。預設變更擷取間隔為每小時一次。如需詳細資訊,請參閱 在不使用 資料移動閘道 時排程任務。
- 載入:執行完整載入以將資料從所選來源表格載入到目標平台,並建立目標表格 (如有必要)。完整載入會在任務開始時自動發生,但也可以根據需要手動執行或安排定期進行。
根據訂閱層級,設定複寫至雲端儲存的程序會不同。
- 若您有標準、企業或進階訂閱,請參閱 透過標準、進階或企業訂閱在資料湖中登陸資料。
- 若您有入門訂閱,請參閱 透過 Qlik Talend Cloud 啟動器 訂閱複寫資料
限制
SaaS 應用程式傳回的某些表格不受變更資料擷取 (CDC) 支援。在此情況下,您將會在驗證錯誤中看見警告訊息。您可以:
-
從資料任務刪除表格。
-
將資料任務的更新方法變更為載入並比較。
管理中繼資料
建立前往資料來源的連線時,您也需要為包含的資料集定義中繼資料。產生結構描述以標準化並定義適當的目標表格時,會使用中繼資料。中繼資料可讓您選取哪些欄要用於複寫至目標。從來源傳回巢狀結構時,會標準化輸出表格,以保留資料粒度。
您可以:
-
從來源表格取樣資料以產生中繼資料
-
匯入已透過相同類型的資料來源從連線匯出的中繼資料。
您可以在連線中在要管理的連線按一下中繼資料,以管理連線中繼資料。
掃描資料以進行中繼資料產生
產生中繼資料時,您可以在中繼資料載入中選取以執行完整資料掃描,或快速掃描。
-
完整資料掃描將會更準確,但處理時間較長。
-
快速資料掃描基於資料樣本。這將會更快速,但不那麼準確。您可以透過資料樣本數量選取有多少資料取樣要用於掃描。增加數量以改善準確度。
資料樣本中包含的記錄數量取決於使用哪個資料來源。
您也可以選取如何設定字串欄大小。
-
固定式
設定 1 和 10000 之間的固定字串欄大小。
-
根據資料值
會根據在資料取樣中觀察到的欄位最長值設定字串欄大小,乘以 Multiplied by (乘以) 中的值。
若欄位在樣本中的所有列都是空的,欄字串大小會設定為沒有值時的預設大小中的值。
選取資料集
您可以將資料集新增至中繼資料。
-
按一下選取資料集。
您現在可以選取要新增至中繼資料的資料集。若資料集已包括在中繼資料內,將會載入。
完成後按一下確定。
刪除資料集
-
若要從中繼資料刪除資料集,按一下資料集上的 ...,並按一下刪除
編輯資料集中的欄
您可以編輯資料集中的欄以設定為金鑰,可設為 Null,或變更資料類型。
-
選取資料集。
-
選取要編輯的欄。
-
按一下編輯。
刪除資料集中的欄
-
選取資料集。
-
選取要刪除的欄。
-
按一下刪除。
匯出並匯入中繼資料
您可以從連線匯出中繼資料,並匯入到另一個連線。
-
按一下匯出中繼資料以匯出中繼資料。
-
按一下匯入中繼資料從已匯出的中繼資料檔案新增中繼資料。必須已從相同的資料來源類型匯出中繼資料檔案。若有名稱相同的表格,您可以在匯入時略過,或覆寫現有的中繼資料。
載入中繼資料
若來源資料中有結構性變更,您必須載入連線的中繼資料。
-
若要載入所有資料集的中繼資料,按一下載入中繼資料。
-
若要載入特定資料集,按一下資料集上的 ...,並按一下載入中繼資料
如需更多關於中繼資料載入的資訊,請參閱 掃描資料以進行中繼資料產生。