跳到主要內容

逐步說明 - 使用 Store 命令的增量資料載入

在此頁面

逐步說明 - 使用 Store 命令的增量資料載入

本逐步說明範例顯示如何在 SaaS editions of Qlik Sense 中使用 Store 命令進行增量資料載入。

您可以使用 Store 建立 QVD 檔案並將該檔案載入 DataFiles。舉例來說,此資料可以是只能在有限時間內 (例如目前日期之前的特定天數) 從資料庫取用的資料記錄。歷史資料可從您建立的 QVD 檔案載入,然後與來源資料庫中的最新可用資料合併。隨後最新資料可插回 QVD 檔案中。此範例示範了這樣的使用情況。

您也可以使用 Store 儲存您只想儲存一次的連線資料,然後從資料庫新增資料。這可以減少後續的資料載入時間,以及減少資料庫伺服器、您的網路等的載入量。此範例不考慮這樣的使用情況。不過,大致而言可套用相同步驟。

在此範例中,我們使用 Standard Search Twitter API 建立連線並搜尋特定文字字詞。搜尋符合過去 7 天的推文,亦即由 Twitter 採用的限制。然後,在此範例中,Standard Search Twitter API 會限制從 Twitter 資料庫載入的資料量。

使用 Store,然後將 Twitter 資料表格儲存在 QVD 檔案中,並將該檔案載入 DataFiles。隨後我們可從 Twitter 請求最新資料,並將資料載入應用程式,以及從 QVD 檔案載入資料。將該資料載回 QVD 檔案中,藉此增量 QVD 檔案。

接著發佈應用程式,然後將最新資料載入已發佈的應用程式。

如需更多關於此範例中任務和概念的資訊,請參閱:

必要條件

  • 雲端中心 (SaaS editions of Qlik Sense) 訂閱。
  • Twitter 帳戶以使用 Twitter API
  • 您應瞭解如何在雲端中心內建立應用程式。如需詳細資訊,請參閱 建立應用程式並新增資料
  • 您應瞭解如何使用資料載入編輯器。如需詳細資訊,請參閱 使用資料載入編輯器

任務

需要下列任務才能完成此範例:

  1. 建立應用程式並連線至 Twitter
  2. 從 Twitter 中選取資料
  3. 新增指令碼陳述式以從 Twitter 資料建立增量 QVD 檔案
  4. 執行指令碼
  5. 設定資料載入排程

建立應用程式並連線至 Twitter

  1. 在雲端中心工作區中建立應用程式。
  2. 開啟指令碼編輯器。建立新的應用程式時,會顯示開啟指令碼編輯器的選項。您也可以從資料載入編輯器存取指令碼編輯器。
  3. 在右功能表的資料連線之下,按一下建立新連線。隨即會開啟建立新連線視窗。
  4. 資料來源下拉式清單中選取 Twitter 。隨即會開啟驗證視窗。
  5. 按一下驗證。隨即會開啟 Twitter API 驗證視窗。您可能需要在瀏覽器中啟用快顯視窗。
  6. 若要授權 Qlik 網頁連接器使用您的 Twitter 帳戶,請輸入您的 Twitter 認證。
  7. 按一下登入。隨即會開啟 Twitter 視窗,顯示存取代碼。複製代碼。
  8. Qlik Sense 驗證視窗中,貼上代碼,然後按一下驗證。連線已驗證。
  9. 按一下測試連線以確認連線已建立。
  10. 命名連線,然後按一下建立。連線已建立,並且資料載入編輯器開啟。連線已新增至右功能表的資料連線清單中。

Twitter 中選取資料

建立連線後,可以選取您要從 Twitter 載入的資料。

  1. 將新的索引標籤新增至指令碼編輯器中的指令碼。
  2. 命名索引標籤。我們稱索引標籤為 New Data (Twitter)。將游標置於指令碼編輯器視窗中。
  3. 在資料載入編輯器中,針對您的 Twitter 連線按一下選取資料

    隨即會開啟選取要載入的資料視窗。

  4. 選取稱為 Search 的表格,然後選取要搜尋的字詞。例如,我們使用 "Kubernetes"。

     

    含有所選搜尋表格的資料載入視窗

    Data load window with Search table selected.

  5. 按一下預覽資料。隨即會顯示 Search 表格的資料欄位。選取您要載入的欄位。在我們的範例中,選取下列欄位:id、created_at、text、source 和 user_name。

     

    顯示資料預覽的資料載入視窗

    Data load window showing a preview of data.

  6. 按一下插入指令碼。指令碼區段已新增至資料載入編輯器的指令碼編輯器中的新資料 (Twitter) 索引標籤。

  7. Load 陳述式上方新增一行,以命名表格。在我們的範例中,稱之為 TwitterSearch

     

    您的索引標籤外觀應類似下列螢幕擷取畫面 (不包括註解):

     

    資料載入編輯器中的新資料 (Twitter) 索引標籤

    New data (Twitter) tab in the data load editor.

  8. 若要確認資料載入正在運作,按一下頂端功能表的載入資料。資料已載入。

     

    資料載入進度視窗

    Data load progress window.

若您希望,可以在資料模型檢視器中檢視表格及欄位中的資料。您也可以在應用程式中建立表格以檢視目前資料。

新增指令碼陳述式以從 Twitter 資料建立增量 QVD 檔案

在您設定應用程式以從 Twitter 載入資料後,可以將該資料儲存在 QVD 檔案中。由於 Twitter Standard API 只允許您從前 7 天提取資料,我們的 QVD 將會在最初載入資料後包含該資料。

  1. 將新的索引標籤新增至指令碼編輯器中的指令碼。
  2. 命名索引標籤。我們稱索引標籤為 Historical data (QVD)
  3. 在索引標籤中新增下列指令碼陳述式。註解 (//) 供參考用。在您執行指令碼時,不會執行這些項目。

     

    備註: 若您從 Firefox 複製並貼上,可能需要先在另一個文件中貼上,例如 Word,以讓分行符號正確顯示在指令碼編輯器中。

     

    //測試 QVD 檔案大小的方式。若檔案不存在,會傳回 <null> let size = FileSize('lib://DataFiles/AllTweets.qvd'); //將歷史資料提取範圍設定為變數 LET vRollingDate = Today()-90; //若檔案存在且包含一些資料,則會執行 if 陳述式;//若檔案不存在,亦即為 null,則將略過 if 陳述式,若不是 isnull(size),則會傳回 TwitterSearch: LOAD * FROM ['lib://DataFiles/AllTweets.qvd'](qvd) //Twitter ID 是唯一 ID;確認只有新的推文新增 WHERE NOT EXISTS (Search.id) //從 qvd 檔案載入過去 90 天的資料;//QVD 檔案提供 7 天 Twitter 標準 API 限制以外的歷史資料。//也請確認儲存的增量 qvd 檔案大小不會增長太大。AND FLOOR (Date([Search.created_at]))>=$(vRollingDate); end if

     

    您的索引標籤外觀應類似下列螢幕擷取畫面:

     

    資料載入編輯器中的歷史資料 (QVD) 索引標籤

    Historical Data (QVD) in the data load editor.

  4. 將另一個新的索引標籤新增至指令碼。
  5. 命名索引標籤。我們稱索引標籤為 Store to QVD
  6. 在索引標籤中新增下列指令碼陳述式。

     

    //無論 QVD 檔案先前是否存在,更新的資料都會儲存在 QVD 中。STORE TwitterSearch INTO [lib://DataFiles/AllTweets.qvd](qvd);

     

    您的索引標籤外觀應類似下列螢幕擷取畫面:

     

    儲存至資料載入編輯器中的 QVD 索引標籤

    Store to QVD tab in the data load editor.

執行指令碼

首次執行指令碼時,資料會從 Twitter 載入,而命名為 AllTweets.qvdQVD 檔案會從 Twitter 資料建立。QVD 檔案已新增至 DataFiles 空間。當您再次執行指令碼時,會從 TwitterQVD 檔案載入資料。隨後使用您從 QVD 檔案載入的資料更新 QVD 檔案。

  1. 按一下載入資料。首次執行指令碼時,會執行從 Twitter 載入的資料,並使用資料建立 AllTweets QVD 檔案。QVD 檔案已新增至 DataFiles 空間,按一下 Select data 即可檢視。

     

    首次執行指令碼時,應該會看見類似下列內容的訊息:

     

    資料載入進度視窗

    Data load progress window.

     

    第二次和後續載入資料時,應該會看見類似下列內容的訊息:

     

    資料載入進度視窗

    Data load progress window.

  2. 使用您的資料在應用程式中建立圖表和表格。

設定資料載入排程

在載入資料後,可以在應用程式中顯示資料。如我們所見,載入資料的一種方式是開啟指令碼編輯器並按一下載入資料。不過,您也可以在雲端中心使用者介面中,手動或在您選擇的排程上載入資料。如需詳細資訊,請參閱 在雲端中心內載入應用程式