逐步說明 - 使用 Store 命令的增量資料載入

本逐步說明範例顯示如何在 Qlik Sense Enterprise on Kubernetes 中使用 Store 命令進行增量資料載入。

您可以使用 Store 建立 QVD 檔案並將該檔案載入 DataFiles。舉例來說，此資料可以是只能在有限時間內 (例如目前日期之前的特定天數) 從資料庫取用的資料記錄。歷史資料可從您建立的 QVD 檔案載入，然後與來源資料庫中的最新可用資料合併。隨後最新資料可插回 QVD 檔案中。此範例示範了這樣的使用情況。

您也可以使用 Store 儲存您只想儲存一次的連線資料，然後從資料庫新增資料。這可以減少後續的資料載入時間，以及減少資料庫伺服器、您的網路等的載入量。此範例不考慮這樣的使用情況。不過，大致而言可套用相同步驟。

在此範例中，我們使用 Standard Search Twitter API 建立連線並搜尋特定文字字詞。搜尋符合過去 7 天的推文，亦即由 Twitter 採用的限制。然後，在此範例中，Standard Search Twitter API 會限制從 Twitter 資料庫載入的資料量。

使用 Store，然後將 Twitter 資料表格儲存在 QVD 檔案中，並將該檔案載入 DataFiles。隨後我們可從 Twitter 請求最新資料，並將資料載入應用程式，以及從 QVD 檔案載入資料。將該資料載回 QVD 檔案中，藉此增量 QVD 檔案。

接著發佈應用程式，然後將最新資料載入已發佈的應用程式。

如需更多關於此範例中任務和概念的資訊，請參閱：

• Store
• Floor - 指令碼與圖表函數
• 使用 QVD 檔案
• 使用累加載入載入新的和更新的記錄
• Twitter 搜尋推文概覽
• Twitter 標準搜尋 API 參考

必要條件

• 雲端中心 (Qlik Sense Enterprise on Kubernetes) 訂閱。
• Twitter 帳戶以使用 Twitter API。
• 您應瞭解如何在雲端中心內建立應用程式。如需詳細資訊，請參閱 在雲端中心內建立應用程式。
• 您應瞭解如何使用資料載入編輯器。如需詳細資訊，請參閱 使用資料載入編輯器。

任務

需要下列任務才能完成此範例：

1. 建立應用程式並連線至 Twitter
2. 從 Twitter 中選取資料
3. 新增指令碼陳述式以從 Twitter 資料建立增量 QVD 檔案
4. 執行指令碼
5. 設定資料載入排程

建立應用程式並連線至 Twitter

請執行下列動作：

1. 在雲端中心工作區中建立應用程式。
2. 開啟指令碼編輯器。建立新的應用程式時，會顯示開啟指令碼編輯器的選項。您也可以從資料載入編輯器存取指令碼編輯器。
3. 在右功能表的資料連線之下，按一下建立新連線。隨即會開啟建立新連線視窗。
4. 從資料來源下拉式清單中選取 Twitter 。隨即會開啟驗證視窗。
5. 按一下驗證。隨即會開啟 Twitter API 驗證視窗。您可能需要在瀏覽器中啟用快顯視窗。
6. 若要授權 Qlik 網頁連接器使用您的 Twitter 帳戶，請輸入您的 Twitter 認證。
7. 按一下登入。隨即會開啟 Twitter 視窗，顯示存取代碼。複製代碼。
8. 在 Qlik Sense 驗證視窗中，貼上代碼，然後按一下驗證。連線已驗證。
9. 按一下測試連線以確認連線已建立。

10. 命名連線，然後按一下建立。連線已建立，並且資料載入編輯器開啟。連線已新增至右功能表的資料連線清單中。

從 Twitter 中選取資料

建立連線後，可以選取您要從 Twitter 載入的資料。

請執行下列動作：

1. 將新的索引標籤新增至指令碼編輯器中的指令碼。
2. 命名索引標籤。我們稱索引標籤為 New Data (Twitter)。將游標置於指令碼編輯器視窗中。

3. 在資料載入編輯器中，針對您的 Twitter 連線按一下選取資料。

   隨即會開啟選取要載入的資料視窗。

4. 選取稱為 Search 的表格，然後選取要搜尋的字詞。例如，我們使用 "Kubernetes"。

    

   含有所選搜尋表格的資料載入視窗

   

5. 按一下預覽資料。隨即會顯示 Search 表格的資料欄位。選取您要載入的欄位。在我們的範例中，選取下列欄位：id、created_at、text、source 和 user_name。

    

   顯示資料預覽的資料載入視窗

   

6. 按一下插入指令碼。指令碼區段已新增至資料載入編輯器的指令碼編輯器中的新資料 (Twitter) 索引標籤。

7. 在 Load 陳述式上方新增一行，以命名表格。在我們的範例中，稱之為 TwitterSearch

    

   您的索引標籤外觀應類似下列螢幕擷取畫面 (不包括註解)：

    

   資料載入編輯器中的新資料 (Twitter) 索引標籤

   

8. 若要確認資料載入正在運作，按一下頂端功能表的載入資料。資料已載入。

    

   資料載入進度視窗

   

若您希望，可以在資料模型檢視器中檢視表格及欄位中的資料。您也可以在應用程式中建立表格以檢視目前資料。

新增指令碼陳述式以從 Twitter 資料建立增量 QVD 檔案

在您設定應用程式以從 Twitter 載入資料後，可以將該資料儲存在 QVD 檔案中。由於 Twitter Standard API 只允許您從前 7 天提取資料，我們的 QVD 將會在最初載入資料後包含該資料。

請執行下列動作：

1. 將新的索引標籤新增至指令碼編輯器中的指令碼。
2. 命名索引標籤。我們稱索引標籤為 Historical data (QVD)。

3. 在索引標籤中新增下列指令碼陳述式。註解 (//) 供參考用。在您執行指令碼時，不會執行這些項目。

    

   資訊備註若您從 Firefox 複製並貼上，可能需要先在另一個文件中貼上，例如 Word，以讓分行符號正確顯示在指令碼編輯器中。

    

   //測試 QVD 檔案大小的方式。若檔案不存在，會傳回 <null> let size = FileSize('lib://DataFiles/AllTweets.qvd'); //將歷史資料提取範圍設定為變數 LET vRollingDate = Today()-90; //若檔案存在且包含一些資料，則會執行 if 陳述式；//若檔案不存在，亦即為 null，則將略過 if 陳述式，若不是 isnull(size)，則會傳回 TwitterSearch: LOAD * FROM ['lib://DataFiles/AllTweets.qvd'](qvd) //Twitter ID 是唯一 ID；確認只有新的推文新增 WHERE NOT EXISTS (Search.id) //從 qvd 檔案載入過去 90 天的資料；//QVD 檔案提供 7 天 Twitter 標準 API 限制以外的歷史資料。//也請確認儲存的增量 qvd 檔案大小不會增長太大。AND FLOOR (Date([Search.created_at]))>=$(vRollingDate); end if

    

   您的索引標籤外觀應類似下列螢幕擷取畫面：

    

   資料載入編輯器中的歷史資料 (QVD) 索引標籤

   

4. 將另一個新的索引標籤新增至指令碼。
5. 命名索引標籤。我們稱索引標籤為 Store to QVD。

6. 在索引標籤中新增下列指令碼陳述式。

    

   //無論 QVD 檔案先前是否存在，更新的資料都會儲存在 QVD 中。STORE TwitterSearch INTO [lib://DataFiles/AllTweets.qvd](qvd);

    

   您的索引標籤外觀應類似下列螢幕擷取畫面：

    

   儲存至資料載入編輯器中的 QVD 索引標籤

   

執行指令碼

首次執行指令碼時，資料會從 Twitter 載入，而命名為 AllTweets.qvd 的 QVD 檔案會從 Twitter 資料建立。QVD 檔案已新增至 DataFiles 空間。當您再次執行指令碼時，會從 Twitter 和 QVD 檔案載入資料。隨後使用您從 QVD 檔案載入的資料更新 QVD 檔案。

1. 按一下載入資料。首次執行指令碼時，會執行從 Twitter 載入的資料，並使用資料建立 AllTweets QVD 檔案。QVD 檔案已新增至 DataFiles 空間，按一下 Select data 即可檢視。

    

   首次執行指令碼時，應該會看見類似下列內容的訊息：

    

   資料載入進度視窗

   

    

   第二次和後續載入資料時，應該會看見類似下列內容的訊息：

    

   資料載入進度視窗

   

2. 使用您的資料在應用程式中建立圖表和表格。

設定資料載入排程

在載入資料後，可以在應用程式中顯示資料。如我們所見，載入資料的一種方式是開啟指令碼編輯器並按一下載入資料。不過，您也可以在雲端中心使用者介面中，手動或在您選擇的排程上載入資料。如需詳細資訊，請參閱 在雲端中心內載入應用程式。