メイン コンテンツをスキップする 補完的コンテンツへスキップ
Qlik リソース

手順 - Store コマンドを使用したデータ ロードの増分

この手順例では、Qlik Sense Enterprise on Kubernetes で Store コマンドを使用してデータ ロードを増分する方法について説明します。

Store を使用して QVD ファイルを作成し、そのファイルを DataFiles にロードできます。例えばこのデータは、現在の日付より前の一定の日数など、一定の期間のみデータベースから取り出すことができるデータ レコードなどです。履歴データは、作成する QVD ファイルからロードして、ソース データベースから取り出すことができる最新データと組み合わせることができます。その後、最新データを QVD ファイルに挿入できます。この例では、このユース ケースについて説明しています。

また、Store を使用して、1 回のみ保存するデータを接続から保存し、データベースから新しいデータを追加することもできます。これにより、以降のデータ ロード時間を短縮でき、データベース サーバーやネットワークなどの負荷も軽減できます。この例では、このユース ケースについては説明していません。ただし、一般に同じ手順が適用されます。

この例では、Standard Search Twitter API を使用して接続を作成し、特定のテキスト用語を検索します。検索により、Twitter の制限である過去 7 日間のツイートと照合します。この例では、次に、Twitter データベースからロードされるデータ量を Standard Search Twitter API によって制限します。

さらに Store を使用して Twitter データ テーブルを QVD ファイルに保管し、そのファイルを DataFiles にロードします。Twitter に最新データをリクエストし、そのデータを QVD ファイルのデータとともにアプリにロードします。そのデータが QVD ファイルにロードされて QVD ファイルが増分されます。

次にアプリを公開して、公開されたアプリを最新データと一緒にロードします。

この例のタスクと概念の詳細については、以下を参照してください。

前提条件

  • クラウド ハブ (Qlik Sense Enterprise on Kubernetes) サブスクリプション。
  • Twitter API を使用する Twitter アカウント。
  • クラウド ハブでのアプリの作成方法を知っている必要があります。詳しくは「クラウド ハブでのアプリの作成」を参照してください。
  • データ ロード エディターを使用する方法を知っている必要があります。詳しくは「 データ ロード エディタの使用」を参照してください。

タスク

この例では、次のタスクを完了する必要があります。

  1. アプリを作成して Twitter に接続する
  2. Twitter からのデータの選択
  3. スクリプト ステートメントの追加による、Twitter データからの QVD ファイルの作成および増分
  4. スクリプトを実行する
  5. データ リロードのスケジュールを設定する

アプリを作成して Twitter に接続する

次の手順を実行します。

  1. クラウド ハブのワークスペースでアプリを作成します。
  2. スクリプト エディターを開きます。新しいアプリの作成時に、スクリプト エディターを開くためのオプションが表示されます。データ ロード エディターからスクリプト エディターにアクセスすることもできます。
  3. 右メニューの [データ接続] で、[接続の新規作成] をクリックします。[接続の新規作成] ウィンドウが開きます。
  4. [データ ソース] ドロップダウン リストから Twitter を選択します。認証ウィンドウが開きます。
  5. [Authenticate] (認証) をクリックします。Twitter API 認証ウィンドウが開きます。  ブラウザーでポップアップを有効にすることが必要になる場合があります。
  6. Twitter アカウントの使用を Qlik Web 接続に対して承認するため、Twitter 資格情報を入力します。
  7. [Sign In]（サインイン）をクリックします。Twitter ウィンドウが開いてアクセス コードが表示されます。コードをコピーします。
  8. Qlik Sense 認証ウィンドウで、コードを貼り付けて [Verify] (確認) をクリックします。接続が認証されます。
  9. [接続のテスト] をクリックして接続が作成されたことを確認します。

  10. 接続に名前を指定して [作成] をクリックします。接続が作成され、データ ロード エディターが開きます。右メニューの [データ接続] リストに接続が追加されます。

Twitter からのデータの選択

接続を作成したら、Twitter からロードするデータを選択できます。

次の手順を実行します。

  1. スクリプト エディターで、スクリプトに新しいタブを追加します。
  2. タブに名前を指定します。ここでは、タブに名前 New Data (Twitter) を指定しました。スクリプト エディター ウィンドウにカーソルを置きます。

  3. データ ロード エディターで、Twitter 接続用の [データの選択] をクリックします。

    [ロードするデータの選択 ] ウィンドウが開きます。

  4. Search という名前のテーブルを選択し、検索する用語を選択します。例えば、「Kubernetes」を使用します。

     

    Search テーブルを選択した状態のデータ ロード ウィンドウ

    Data load window with Search table selected.

  5. [データのプレビュー] をクリックします。Search テーブルのデータ項目が表示されます。ロードする項目を選択します。この例では、項目 id、created_at、text、source、および user_name を選択しています。

     

    データのプレビューが表示されたデータ ロード ウィンドウ

    Data load window showing a preview of data.

  6. [スクリプトを挿入] をクリックします。データ ロード エディターのスクリプト エディターの [新規データ (Twitter)] タブにスクリプト セグメントが追加されます。

  7. Load ステートメントの上に行を追加し、テーブルに名前を指定します。この例では、TwitterSearch という名前を指定しています。

     

    タブが次のスクリーンショットのようになります (コメントは含まれません)。

     

    データ ロード エディターの [新規データ (Twitter)] タブ

    New data (Twitter) tab in the data load editor.

  8. データ ロードが機能していることを確認するため、トップ メニューの [データのロード] をクリックします。データがロードされます。

     

    データ ロード進捗状況ウィンドウ

    Data load progress window.

必要に応じて、テーブルや項目に含まれるデータをデータ モデル ビューアーで表示できます。アプリでテーブルを作成して現在のデータを表示することもできます。

スクリプト ステートメントの追加による、Twitter データからの QVD ファイルの作成および増分

Twitter からデータをロードするようにアプリをセットアップしたら、そのデータを QVD ファイルに保存できます。Twitter Standard API では過去 7 日間のデータのみ取得できるため、データをロードすると、QVD には最初にそのデータが含まれます。

次の手順を実行します。

  1. スクリプト エディターで、スクリプトに新しいタブを追加します。
  2. タブに名前を指定します。ここでは、タブに名前 Historical data (QVD) を指定しました。

  3. タブに次のスクリプト ステートメントを追加します。コメント (//) は参照用です。これらは、スクリプトを実行するときに実行されません。

     

    情報メモ Firefox からコピーして貼り付ける場合、改行をスクリプト エディターで適切に表示するためには、Word などの別のドキュメントに貼り付けることが必要になる場合があります。

     

    //Method to test QVD file size. If the file does not exist returns <null> let size = FileSize('lib://DataFiles/AllTweets.qvd'); //Set the historical data pull range to a variable LET vRollingDate = Today()-90; //If the file exists and contains some data then the if statement is executed; //if the file does not exist, i.e. is null, then the if statement will be skipped if not isnull(size) then TwitterSearch: LOAD * FROM ['lib://DataFiles/AllTweets.qvd'](qvd) //Twitter ids are unique; ensures only new tweets added WHERE NOT EXISTS (Search.id) //Load last 90 days of data from the qvd file; //QVD file provides historical data beyond Twitter Standard API limit of 7 days. //Also ensures that stored incremented qvd file does not grow too large in size. AND FLOOR (Date([Search.created_at]))>=$(vRollingDate); end if

     

    タブが次のスクリーンショットのようになります。

     

    データ ロード エディターの [履歴データ (QVD)] タブ

    Historical Data (QVD) in the data load editor.

  4. スクリプトに新しい別のタブを追加します。
  5. タブに名前を指定します。ここでは、タブに名前 Store to QVD を指定しました。

  6. タブに次のスクリプト ステートメントを追加します。

     

    //Regardless of the QVD file existing previously or not, updated data gets stored into the QVD. STORE TwitterSearch INTO [lib://DataFiles/AllTweets.qvd](qvd);

     

    タブが次のスクリーンショットのようになります。

     

    データ ロード エディターの [QVD] タブに保存

    Store to QVD tab in the data load editor.

スクリプトを実行する

スクリプトを初めて実行する場合、Twitter からデータがロードされ、Twitter データから AllTweets.qvd という名前の QVD ファイルが作成されます。QVD ファイルが DataFiles スペースに追加されます。スクリプトを再度実行すると、データは Twitter から QVD ファイルにロードされます。 QVD ファイルが、QVD ファイルからロードしたデータを反映して更新されます。

  1. [データのロード] をクリックします。スクリプトを初めて実行する場合、Twitter からデータがロードされ、そのデータを使用して AllTweets QVD ファイルが作成されます。QVD ファイルが DataFiles スペースに追加され、Select data をクリックして表示可能になります。

     

    スクリプトを初めて実行する場合、次のようなメッセージが表示されます。

     

    データ ロード進捗状況ウィンドウ

    Data load progress window.

     

    2 回目以降にデータをロードする場合、次のようなメッセージが表示されます。

     

    データ ロード進捗状況ウィンドウ

    Data load progress window.

  2. データを使用してアプリでチャートとテーブルを作成します。

データ リロードのスケジュールを設定する

データをロードしたら、アプリでそのデータを表示できます。前述したように、データをリロードする 1 つの方法として、スクリプト エディターを開いて [データのロード] をクリックする方法があります。ただし、クラウド ハブ ユーザー インターフェイスで、データを手動でロードするか、選択するスケジュールに従ってロードすることもできます。詳しくは「クラウド ハブでのアプリ データのリロード」を参照してください。

このページは役に立ちましたか?

このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。

フィードバックの送信