資料管道專案設定
您可以在 Qlik Talend Data Integration 中變更資料管道專案的設定。這些屬性是專案和所有包含的資料任務所共用的。某些設定僅適用於特定的資料平台。
-
按一下專案中的 設定。
資料倉儲資料管道專案的設定
資料平台
您可以變更下列設定：
-
連線
專案的連線。
-
連線至預備區
當資料平台為 Snowflake 時，無法使用此選項。
中繼資料
您可以為內部成品設定後置詞，並為建立的檢視設定預設後置詞。
-
成品偏好設定
-
所有架構的字首： 要新增至專案中建立之資料架構的字首。當匯入的專案與匯出的專案位於同一個雲端資料倉庫時，這會很有用。
-
內部架構的字尾：用於儲存內部成品的架構所使用的字尾。
-
架構名稱的預設大小寫：所有架構名稱的預設大小寫。如果您的資料庫設定為強制大小寫，此選項將不會產生影響。
-
-
外部檢視的字尾
設定專案中包含的資料工作中建立之檢視的預設字尾。
新任務的預設設定
您可以為專案中建立的資料任務設定預設值。建立資料任務時，您可以變更該值。
您可以設定預設資料庫，以建立所有類型資料任務的目標成品。
登陸任務預設值
預設資料庫
您可以使用專案的預設資料庫或指定其他資料庫。
使用 資料移動閘道 時透過 Proxy 存取目標
-
使用 Data Movement gateway 時，透過 Proxy 連線至
使用 資料移動閘道 時，您可以透過 Proxy 連線至目標平台和預備平台 (區域)。
如需有關設定 資料移動閘道 以使用 Proxy 伺服器的詳細資訊，請參閱 設定 Qlik Cloud 租用戶和 Proxy 伺服器。
-
目標平台
資訊備註在使用 Snowflake、Google BigQuery 和 Databricks 時可用。 -
預備平台
資訊備註在使用 Azure Synapse Analytics、Amazon Redshift 和 Databricks 時可用。
-
儲存任務預設值
-
歷史資料儲存 (類型 2)
您可以保留歷史變更資料，以便輕鬆重新建立特定時間點的資料。您可以使用歷史檢視和即時歷史檢視來查看歷史資料。
-
即時檢視
即時檢視會顯示每個所選來源資料表的檢視，該檢視會將資料表與變更資料表中的變更合併。這為查詢提供了資料的即時檢視，而無需等待下一個套用週期。
預設資料庫
您可以使用專案的預設資料庫或指定其他資料庫。
目錄
-
發佈至目錄
選取此選項可將此版本的資料作為資料集發佈至 目錄。下次準備此任務時，將會更新目錄內容。
預設檢視類型
-
標準檢視
使用標準檢視將查詢結果顯示為表格。
-
Snowflake 安全檢視
將 Snowflake 安全檢視用於指定用於資料隱私或敏感資訊保護的檢視，例如為限制存取不應向基礎表格的所有使用者公開的敏感資料而建立的檢視。 Snowflake 安全檢視的執行速度可能比標準檢視慢。
已註冊資料任務預設值
預設資料庫
您可以使用專案的預設資料庫或指定其他資料庫。
目錄
-
發佈至目錄
選取此選項可將此版本的資料作為資料集發佈至 目錄。下次準備此任務時，將會更新目錄內容。
增量載入設定
當選取 使用高水位線增量 時，可使用這些設定。
-
變更資料表
如果變更在同一個資料表中，請選取 變更在同一個資料表內。
如果不是，請清除 變更在同一個資料表內 並指定變更資料表模式。
-
水位線欄
在 名稱 中設定水位線欄的名稱。
-
「開始日期」欄
您可以透過開始時間或使用選取的欄來指出「開始日期」。
如果您選取 選取的「開始日期」欄，則必須定義 「開始日期」模式。
-
軟刪除
您可以透過選取 變更包含軟刪除 並定義指示運算式，將軟刪除包含在變更中。
如果變更是軟刪除，指示運算式的評估結果應為 True。
範例：${is_deleted} = 1
-
前置映像
您可以透過選取 前置映像 並定義指示運算式，在變更資料表變更中篩選出前置映像記錄。
如果該列包含更新前的映像，指示運算式的評估結果應為 True。
範例：${header__change_oper} = 'B'
轉換任務預設值
-
歷史資料儲存 (類型 2)
您可以保留歷史變更資料，以便輕鬆重新建立特定時間點的資料。您可以使用歷史檢視和即時歷史檢視來查看歷史資料。
具體化
-
非具體化 (僅限檢視)
選取此選項可僅建立即時執行轉換的檢視。
-
具體化 (資料表和檢視)
選取此選項可同時建立資料表和檢視。
預設資料庫
您可以使用專案的預設資料庫或指定其他資料庫。
目錄
-
發佈至目錄
選取此選項可將此版本的資料作為資料集發佈至 目錄。下次準備此任務時，將會更新目錄內容。
預設檢視類型
-
標準檢視
使用標準檢視將查詢結果顯示為表格。
-
Snowflake 安全檢視
將 Snowflake 安全檢視用於指定用於資料隱私或敏感資訊保護的檢視，例如為限制存取不應向基礎表格的所有使用者公開的敏感資料而建立的檢視。 Snowflake 安全檢視的執行速度可能比標準檢視慢。
預設資料表類型
這些設定僅可用於以 Snowflake 作為資料平台的專案。
-
表格類型
您可以選取要使用的表格類型：
-
Snowflake 表格
-
Snowflake 管理的 Iceberg 表格
您必須在 Snowflake 外部磁碟區中設定外部磁碟區的預設名稱。
-
-
要使用的雲端儲存資料夾
選取將資料登陸到暫存區域時要使用的資料夾。
-
預設資料夾
如此可建立預設名稱為 <專案名稱>/<資料任務名稱> 的資料夾。
-
根資料夾
將資料存放在儲存區的根資料夾。
-
資料夾
指定要使用的資料夾名稱。
-
-
與 Snowflake 開放目錄同步
啟用此選項可讓 Snowflake Open Catalog 管理雲端檔案儲存中的檔案。
資料超市任務預設值
預設資料庫
您可以使用專案的預設資料庫或指定其他資料庫。
目錄
-
發佈至目錄
選取此選項可將此版本的資料作為資料集發佈至 目錄。下次準備此任務時，將會更新目錄內容。
執行階段預設值
您可以為專案中包含的資料資產定義預設執行階段效能設定。
登陸預設值
-
您可以在 平行執行 中設定資料庫連線的最大數量。
-
您可以將預設排程設定為以時間為基礎的排程。這將是每個建立的儲存任務的預設值。
-
如果專案平台為 Snowflake，您可以設定預設資料倉儲。
-
您可以將預設排程設定為以時間為基礎的排程，或 在成功完成任何輸入資料任務時。這將是每個建立的轉換任務的預設值。
-
如果專案平台為 Snowflake，您可以設定預設資料倉儲。
-
您可以將預設排程設定為以時間為基礎的排程，或 在成功完成任何輸入資料任務時。這將是每個建立的資料超市任務的預設值。
-
如果專案平台為 Snowflake，您可以設定預設資料倉儲。
-
如果專案平台為 Snowflake，您可以設定預設資料倉儲。
Qlik 開放湖倉庫 資料管道專案的設定
資料平台
您可以變更下列設定：
-
資料目錄連線：選取現有的連線，或按一下 建立新連線 以新增資料目錄連線。 您也可以編輯現有的連線，並透過按一下 測試連線 來驗證連線是否正常運作。
-
登陸目標連線：選取用於登陸資料的 S3 值區，或按一下 建立新連線 以新增值區位置。您也可以編輯現有的連線，並透過按一下 測試連線 來驗證連線是否正常運作。
中繼資料
您可以為內部成品設定後置詞，並為建立的檢視設定預設後置詞。
-
成品偏好設定
-
所有架構的字首： 要新增至專案中建立之資料架構的字首。當匯入的專案與匯出的專案位於同一個雲端資料倉庫時，這會很有用。
-
內部架構的字尾：用於儲存內部成品的架構所使用的字尾。
-
架構名稱的預設大小寫：所有架構名稱的預設大小寫。如果您的資料庫設定為強制大小寫，此選項將不會產生影響。
-
-
外部檢視的字尾
設定專案中包含的資料工作中建立之檢視的預設字尾。
-
雜湊
您可以設定在對欄進行雜湊處理時要使用的雜湊鹽字串，例如用於遮罩敏感資訊。這將在將輸入欄與雜湊鹽字串串接後，產生輸入欄的 SHA-256 雜湊。
您可以使用專案 ID 作為鹽字串，或設定自訂鹽字串。
新任務的預設設定
您可以為專案中建立的資料任務設定預設值。建立資料任務時，您可以變更該值。
您可以設定預設資料庫，以建立所有類型資料任務的目標成品。
湖泊登陸任務預設值
要使用的資料夾
根據您希望將檔案寫入哪個值區資料夾，選取下列其中一項：
-
預設資料夾
預設資料夾格式為 <your-project-name>/<your-task-name>
-
根資料夾
檔案將寫入根值區資料夾。
-
資料夾
指定資料夾名稱。如果資料夾不存在，將在資料任務期間建立該資料夾。
資訊備註 資料夾名稱不能包含特殊字元 (例如 @、#、! 等)。
儲存任務預設值
-
歷史資料儲存 (類型 2)
您可以保留歷史變更資料，以便輕鬆重新建立特定時間點的資料。您可以使用歷史檢視和即時歷史檢視來查看歷史資料。
目錄
-
發佈至目錄
選取此選項可將此版本的資料作為資料集發佈至 目錄。下次準備此任務時，將會更新目錄內容。
在預備區中使用的資料夾
根據您希望將檔案寫入哪個值區資料夾，選取下列其中一項：
-
預設資料夾
預設資料夾格式為 <your-project-name>/<your-task-name>
-
根資料夾
檔案將寫入根值區資料夾。
-
資料夾
指定資料夾名稱。如果資料夾不存在，將在資料任務期間建立該資料夾。
資訊備註 資料夾名稱不能包含特殊字元 (例如 @、#、! 等)。
串流登陸任務預設值
您可以為專案中建立的串流登陸任務設定預設值。
要使用的資料夾
根據您希望將檔案寫入哪個值區資料夾，選取下列其中一項：
-
預設資料夾
預設資料夾格式為 <your-project-name>/<your-task-name>
-
根資料夾
檔案將寫入根值區資料夾。
-
資料夾
指定資料夾名稱。如果資料夾不存在，將在資料任務期間建立該資料夾。
資訊備註 資料夾名稱不能包含特殊字元 (例如 @、#、! 等)。
資料夾保留
選取保留資料的時間長度：
-
不刪除資料和中繼資料
資料和中繼資料都不會被刪除。
-
在保留期限後刪除資料和中繼資料
在保留期限過後，將刪除資料和中繼資料。
-
在保留期限後刪除中繼資料。資料由外部系統刪除。
在此期限過後，將清除中繼資料。底層資料 (例如 S3 物件) 不會由 Qlik 刪除，而是由外部系統刪除。
串流轉換任務預設值
您可以為專案中建立的串流轉換任務設定預設值。
目錄
-
發佈至目錄
選取此選項可將此版本的資料作為資料集發佈至 目錄。下次準備此任務時，將會更新目錄內容。
要使用的資料夾
根據您希望將檔案寫入哪個值區資料夾，選取下列其中一項：
-
預設資料夾
預設資料夾格式為 <your-project-name>/<your-task-name>
-
根資料夾
檔案將寫入根值區資料夾。
-
資料夾
指定資料夾名稱。如果資料夾不存在，將在資料任務期間建立該資料夾。
資訊備註 資料夾名稱不能包含特殊字元 (例如 @、#、! 等)。
資料表定義
設定預設顯示在此專案中所有串流轉換任務的標準檢視中的標準檢視標頭欄。
-
hdr__from_timestamp
啟用此選項時，hdr__from_timestamp 標頭欄將出現在標準檢視中。此外，在入門精靈中選取 依事件擷取日期分割 時，hdr__from_timestamp 將用作預設分割欄。 您可以在工作或資料集層級覆寫此設定。
資訊備註無論此設定為何，歷程記錄檢視一律包含所有標準檢視標頭欄。
執行階段
您可以為專案中包含的資料任務定義預設執行階段效能設定。
湖泊登陸任務預設值
-
您可以在 平行執行 中設定資料庫連線的最大數量。
儲存任務預設值
Lakehouse 叢集
您可以選擇為儲存任務選擇專用的 Lakehouse 叢集。
串流登陸任務預設值
讀取器數量
選取要使用的讀取器數量。該值必須介於 1 到 1,000 之間。
Lakehouse 叢集
您可以選擇為儲存任務選擇專用的 Lakehouse 叢集。
串流轉換任務預設值
Lakehouse 叢集
您可以選擇為儲存任務選擇專用的 Lakehouse 叢集。
-
如果專案平台為 Snowflake，您可以設定預設資料倉儲。