メイン コンテンツをスキップする 補完的コンテンツへスキップ

分析用データ

分析用データ メトリクスは、Qlik Cloud の容量のうちどれだけが使用されているかを示します。これは、環境にロードされ、保存されているデータの総量を測定します。このトピックでは、使用量に含まれるデータの種類、除外されるデータ、使用量の計算方法について説明します。これらの詳細を理解することで、何が Qlik Cloud の容量を消費しているかを把握し、データをより効率的に管理できるようになります。

メトリクスに含まれるデータ

以下のデータをカウントしています。

  • 外部ソースから Qlik Cloud にロードされたデータ。リロードの場合、新しい増分データによってデータ数が増加します。リロードのデータが少ない場合、データ数は減少します。

  • Qlik Cloud にアップロードまたは Qlik Cloud で作成されたデータ ファイル。ファイル サイズがカウントされます。Qlik Cloud 内でデータ ファイルをコピーすると、新しいデータ ファイルもカウントに含まれます。共有スペースにあるアプリをリロードせずに複製した場合、カウントされません。

データ分析メトリクスは次のように計算されます。

  • Qlik Sense アプリ経由で Qlik Cloud に取り込まれる外部データの量。

  • Qlik データ ゲートウェイ - データ移動 経由で Qlik Cloud にロードされる外部データの結果の QVD ファイル サイズ。

  • Qlik Cloud にアップロードされるデータ ファイルのファイル サイズ。

  • アプリの静的バイト サイズ。

複数のテナントにロードされたデータは複数回カウントされますが、1 回ロードされ複数のアプリで使用されたデータは 1 回のみカウントされます。

情報メモアプリがデータファイルからロードされたデータのみを使用する場合、アプリは分析用のデータには寄与しません。これは、データがすでにデータファイルの寄与に含まれているためです。

次のものはメトリクスにカウントされません。

  • On-demand アプリ生成 (ODAG) を使用して個人スペースにロードされるアプリやデータ。

  • 個人スペースのアプリ。共有スペースに保存されたデータ接続を使用するものも含みます。

  • 他のアプリをバイナリ ロードするだけのアプリ。バイナリ ロードされる元のアプリはすでにカウントされています。

  • QVD ファイルのみを読み込むアプリ。QVD はすでに別カウント。

  • 管理スペースに公開されたアプリとデータ。

    情報メモ管理スペースでのアプリのリロードはメトリクスにカウントされます。
  • Direct Query を通してロードされるデータ。

分析用データ容量のサブスクライブ

分析用データの要件に基づいて、データ パックをサブスクライブします。各ユーザーの個人スペースには、一定の分析用データ容量があります。この個人データは、分析用データの総量にはカウントされません。ただし、ユーザーが共同作業のためにデータを共有スペースに移動した場合は、合計容量に含まれます。

Qlik Cloud Analytics Starter エディションは、データ容量が固定されています。このエディションでは、サブスクリプションはユーザー数に基づいて決定されます。

Qlik Cloud へのデータの移動

データの移動には、次のようなオプションがあります。

  • Qlik Sense からの直接データ接続

  • Qlik Data Gateway - 直接アクセス

  • Qlik Talend Data Integration を使用した Qlik Cloud へのデータ移動

    Qlik Cloud Analytics の Premium エディションと Enterprise エディションを使用すると、任意のソースから Qlik Cloud にデータを移動できます。Qlik Cloud 分析スタンダード を使用すると、SAP、メインフレーム、レガシー ソースを除く任意のソースからデータを移動できます。

分析用データ量の計算

分析用データの計算方法を理解することで、容量を効率的に使用することができます。このセクションでは、月間ピーク、データ ロード、アプリのリロード、データ作成の測定方法について説明します。

月次ピーク

Data for Analysis の容量を購入すると、データの保存と分析に必要なスペースがセットで提供されます。この容量は上限であり、消耗されるものではありません。例えば、250GB の容量を購入した場合、いつでも 250GB までのデータを保存・分析することができます。この上限を超えた場合、超過料金が発生する可能性があり、別途追跡されます。

毎日の使用量の追跡方法

お客様の利用状況は毎日追跡されます。毎日、システムは 1 日のピークを以下の合計として計算します。

  • 保存されているファイルの合計サイズ

  • アプリのリロード中に取り込まれるデータ量

  • 派生または作成されたデータの量

繰り越しの仕組み

ある日にリロードが行われなかった場合、システムは直近のリロードから取り込まれたデータ値を繰り越します。新しい月が始まると、月間ピークはリセットされます。新月の初日にリロードが行われなかった場合、前月の最後のリロード値がその日に適用されます。

保存されたデータと派生データは、繰り越されることなく、常に毎日新たに測定されます。

特別なケース

  • 使用量の値は、各アプリのリロードが最後に成功したときのものです。アプリが後に空のデータ モデルでリロードされた場合 (例えば、QVD ファイルの作成とエクスポートのみ)、報告される使用量は、最後にリロードに成功したときのサイズのままである可能性があります。

  • 使用量は、アプリがリロードされたときにのみ更新されます。このため、アプリで表示されるデータと報告される分析用データの使用量に差異が生じることがあります。報告された使用量を減らすには、より小さなデータセットでアプリをリロードします。

繰り越しの例

以下の例では、新しいリロードが発生しない場合にリロード値がどのようにフォロワーされるか、またこの動作が保存データと作成データにどのように影響するかを示しています。

例 1 - 通常の繰り越し:

  • 1 日目: 70 GB のデータ ファイルの保存、40 GB のアプリのリロード、30 GB のデータ ファイルの作成。1 日のピークは 140 GB。

  • 2 日目: 60 GB のデータ ファイルの保存、0 GB のアプリのリロード、20 GB のデータ ファイルの作成。初日のリロード値 (40 GB) はそのまま繰り越されます。1 日のピークは 120 GB。

例 2 - QVD 専用アプリのシナリオ

  • 1 日目 10 GB の外部データでアプリをリロードし、QVD ファイルを作成し、すべてのテーブルを削除します。最終的なアプリのモデルは空です。1 日のピークは 10 GB (リロード部分) です。

  • 2 日目: リロードなし。アプリにテーブルがないにもかかわらず、1 日のピークは 10 GB のままです (リロード分は繰り越されます)。

新しいリロードだけがこの値を更新します。

つまり、1 日のピークは、(QVD のみのシナリオのようにアプリ自体が空の場合でも) 繰り越されたリロード データと、その日に保存または作成された新しいデータの両方を反映することができます。

月間ピークと高基準値

月間ピークとは、その月に記録された1日の最高ピークのことです。これは、データ使用量の合計が最も多かった日を示す、高基準値として機能します。毎月のピーク値を購入容量と比較し、超過料金が適用されるかどうかを判断します。

例 - 1 日の使用量から毎月のピークを特定

月間ピークがどのように決定されるかを示すため、この例では 4 日間だけ、購入容量 250 GB の単純化したシナリオを使用します。使用量は、1 日の最高ピークが月間のピークになることを説明するのに役立ちます。

このデータ テーブルは、4 日間のデータ使用量をタイプ別に分類したものです。

保存 リロード 作成日 1 日のピーク
1 50 GB 30 GB 15 GB 95 GB
2 70 GB 40 GB 30 GB 140 GB
3 60 GB 0 GB 20 GB 120 GB
4 80 GB 50 GB 40 GB 170 GB

テーブル データの理解:

  • 3 日目はデータのリロードはありません。2 日目のリロード分 (40 GB) は繰り越され、1 日のピーク (120 GB) に寄与します。

  • 4 日目は 1 日のピークが最も高く (170 GB)、これが月間ピークとなります。

月間ピークが購入容量 250 GB 以内であるため、超過料金は適用されません。使用量が 250 GB を超えた場合、超過料金が発生したり、容量のアップグレードが必要になることがあります。

保存、インジェスト (リロード)、作成されたデータを示す 4 日間の 1 日の使用量。緑の線は 250 GB の購入容量を示します。

4 日間のデータ使用量を示す棒グラフ

Qlik Cloud へのデータのロード

外部ソースから Qlik Cloud にロードされたデータは、日次ピークにカウントされます。1 つのテナントにロードされたデータは 1 回としてカウントされ、何度も分析および使用できます。 複数のテナントにロードされたデータは、複数回としてカウントされます。

日次ピークに寄与するデータは次のように測定されます。

  • Qlik Sense アプリ経由でロードされたファイルベースのデータは、そのファイル サイズによって測定されます。

  • クエリまたはコネクタを使用したアプリのリロードは、データ ソースから取り込まれた最大バイト数としてカウントされます。同じ日に複数のリロードが発生した場合、アプリ サイズがもっとも大きいものが日次ピークにカウントされます。たとえば、アプリが 1 日にそれぞれ 0.75 GB、1.25 GB、1 GB でリロードされた場合、その日に使用された値は 1.25 GB となります。

    Qlik Cloud テナント内にアプリが存在する限り、取り込まれた最大バイト数がアプリに対して評価されます。

  • Qlik データ ゲートウェイ - データ移動 経由で Qlik Cloud にロードされたデータは、出来上がった QVD ファイルのサイズによって測定されます。

  • 分析 アクティビティ センター内または qlik-cli を使用して、ファイル インポートによってアップロードまたはロードされたアプリは、アプリの情的バイト サイズによって測定されます。

  • アップロードされた QVD ファイルは、そのファイル サイズによって測定されます。

Qlik Cloud にデータをロードするさまざまな方法: アプリ経由、データ移動、分析 アクティビティ センターまたは qlik-cli を使用したインポート。

Qlik Cloud にデータをロードするためのさまざまな方法の図。

次の状況では、データは日次ピークの計算に含まれません

  • ユーザーの個人スペースにロードされたデータは、個人スペース内に制限される場合に限り、カウントされません。他のユーザーと共同作業をするためにデータを共有スペースに移動した場合はカウントされます。

  • リロードに失敗した場合、取り込まれたバイトはカウントされません。ただし、結果の QVD ファイルはすべてカウントされます。

  • Qlik Cloud にすでに存在するデータを含むアプリをロードする場合、データのロードはカウントされません。たとえば、コピーまたはバイナリでロードされたアプリ (別の Qlik Sense アプリからデータをロード) は、外部ソースからリロードされない限り、1 日のピークに影響を与えません。

内部ソースからのアプリのリロードは、日次ピークに影響を与えません。

日次ピークにカウントされないアプリのリロードの図。

アプリのリロードで取り込まれたバイト数の測定

外部ソースから Qlik Sense アプリをリロードする場合、次のことが適用されます。

  • データ量が変わらない場合に限り、日次ピークに影響を与えることなく、同じソース データセットからアプリを複数回リロードできます。

  • ソース データセットのサイズが増加すると、日次ピークに影響が出ます。データセットに追加されるデータの各 GB と同等の量が、リロード中に取り込まれるデータに寄与されます。

  • 逆に、ソース データセットのサイズが減少すると、その減少分は日次ピークにも反映されます。たとえば、データセットのサイズが 0.25 GB 減少すると、リロード サイズも同じ量だけ減少します。ただし、1 GB のリロードがその日の早い時間に発生した場合、その日の日次ピークは 1 GB になります。この減少は翌日の日次ピークにのみ反映されます。

  • ソース データセットの内容が変更されても、そのサイズが変更されない限り、日次ピークには影響しません。日次ピークはデータ量にのみ影響されます。

ソース データセットのサイズまたは内容が変更されたときに取り込まれるバイト数の測定。

異なるサイズのデータセットからのアプリのリロードを示した図。
  • 1 つのロード スクリプト内で同じデータセットに複数回クエリを実行する場合、それらのクエリはすべて個別にカウントされ、そのデータ量は合計されます。たとえば、同じデータセットから 1 GB ずつの 3 つのクエリを含むロード スクリプトがある場合、それらの 3 つのクエリはすべて個別にカウントされます。したがって、日次ピークにカウントされる合計データ量は 3 GB になります。

  • アプリをロードした後にテーブルを削除しても、日次ピークは減少しません。日次ピークは、アプリのその日の最大リロード サイズに基づいているためです。

  • アプリをロードした後、同日に削除した場合でも、その日の日次ピークに寄与します。ただし、アプリが存在しなくなる翌日の日次ピークは減少します。

異なるアプリのリロード シナリオで取り込まれたバイト数の測定。

さまざまなアプリのリロード シナリオを示した図。

Qlik Talend Data Integration を使用して QVD ファイルにロードされたデータの測定

Qlik データ ゲートウェイ - データ移動 を使用して外部ソースから QVD ファイルにデータをロードする場合、次のことが適用されます。

  • データ量が変わらない場合に限り、日次ピークに影響を与えることなく、複数回データセットをアップロード、インポート、または生成できます。

  • ソース データセットのサイズが増加すると、日次ピークに影響が出ます。データセットに追加されるデータの各 GB と同等の量が、結果として得られる QVD ファイルのサイズに寄与されます。

  • 逆に、ソース データセットのサイズが減少すると、その減少分は日次ピークにも反映されます。たとえば、データセットのサイズが 0.25 GB 減少すると、結果の QVD ファイルのサイズも同じ量だけ減少します。

  • ソース データセットの内容が変更されても、そのサイズが変更されない限り、日次ピークには影響しません。日次ピークはデータ量にのみ影響されます。

ソース データセットのサイズまたは内容が変更された場合の QVD ファイル サイズの測定。

異なるサイズのデータセットからの QDV ロードを示した図。

外部ソースと内部ソースからのアプリのロード

データ ソースに応じて、アプリにロードされたデータが日次ピークにどのような影響を与えるかを理解することが重要です。データがさまざまなソースからロードされる、次のシナリオについて考えてみましょう。

  • 外部ソースからアプリにロードする

    外部ソースからアプリにデータをロードすると、取り込まれたバイト数としてカウントされます。たとえば、10 GB をロードすると、日次ピークへの寄与は 10 GB になります。

  • Qlik Cloud の QVD からアプリにロードする

    Qlik Cloud にある QVD ファイルからアプリにデータをロードしても、日次ピークにはカウントされません。10 GB のデータが QVD からアプリにロードされた場合、外部データの取り込みがないため、データはカウントされません。日次ピークへの寄与は 0 GB です。

  • Qlik Cloud の QVD から新しい QVD ファイルを生成する

    Qlik Cloud ベースの QVD から QVD ジェネレーター アプリにロードされたデータは、日次ピークにはカウントされません。ただし、アプリから生成された QVD ファイルはカウントされます。たとえば、10 GB の QVD ファイルを新しい 5 GB の QVD に変換した場合、日次ピークへの寄与は 2 つのファイルの合計である 15 GB になります。外部データの取り込みがないため、QVD ジェネレーター アプリ (データ モデルを作成して QVD を生成する専用アプリ) のロードはカウントされません。

  • 外部ソースと内部ソースの両方からアプリにロードする

    アプリが外部ソースから 10 GB をロードし、Qlik Cloud 内の QVD から 5 GB をロードした場合、外部ソースからロードされたデータのみがカウントされるため、アプリからの日次ピークへの寄与は 10 GB になります。

データ ファイルと、内部ソースと外部ソースからのロード時に取り込まれたデータの合計の測定。

ロードされたデータの合計の計算例を示す図。

Qlik Cloud でのデータ作成

Qlik Cloud で新しいデータを作成すると、データ ファイルのコピーであるか、既存の生データを組み合わせた派生であるかにかかわらず、そのデータは日次ピークにカウントされます。データは、データ作成プロセスで生成されたファイルの合計サイズとして測定されます。作成されたデータは、使用するアプリの数に関係なく、1 回のみカウントされます。

データ作成の次の例を考えてみましょう。

  • STORE ステートメントを使用して 1 GB QVD ファイルを作成すると、日次ピークに 1 GB が追加されます。

  • 1 GB の QVD ファイルをコピーすると、両方のコピーが合計に寄与するため、日次ピークに 1 GB が追加されます。

  • 変換を通じて 0.5 GB の QVD ファイルを作成すると、日次ピークに 0.5 GB が追加されます。結果として得られる QVD ファイルのみがカウントされます。 QVD ジェネレーター アプリは、すでに Qlik Cloud にあるデータをロードするため、カウントされません。

Qlik Cloud で作成されたデータ ファイルの測定。

作成されたデータの合計の計算例を示す図。

データ管理のベストプラクティス

効率的なデータ管理は、分析用データ容量を最大限に活用するのに役立ちます。以下の推奨事項は、Qlik Cloud におけるデータ ロードの最適化、不要なストレージの削減、古いデータや非アクティブなコンテンツの管理方法について説明しています。

データを再利用するために QVD ファイルを作成する

複数のアプリでデータを共有する場合は、QVDファイルを使用します。外部データを一度ロードし QVDとして保存することで、繰り返しの取り込みが減り、日次ピークを低く抑えることができます。Qlik データ ゲートウェイ - データ移動 でデータを再利用するために QVD ファイルを作成するほうが、アプリでデータを直接リロードするよりも効率的です。

例:

10 GB の外部データを一度ロードし、5 GB の QVD ファイルとして保存した場合、日次ピークにカウントされる合計データは 15 GB です。5 GB の QVD をロードするアプリは、元の 10 GB のデータを再度取り込む必要はありません。一方、同じ 10 GB の外部データを 2 つのアプリに直接ロードすると、取り込みが 2 回行われ、20 GB がカウントされます。

QVD を作成してそこからアプリをロードするほうが、外部データを複数のアプリに直接ロードするよりも効率的です。

アプリのロードに QVD を使用した場合と、アプリに直接ロードした場合の合計データを示す図。

効率的なデータ ロードの方法を使用する

可能な限りフィルタリングや変換処理を データソース側で実行します (SQL プッシュダウン) 。これにより、リロード中に転送されるデータ量が削減されます。

例:

Select * from my-external-database-table where my_column = 10

このクエリでは、フィルターはソース側で適用されるため、データの一部のみが転送されます。

情報メモQVD、Excel、または CSV ファイルをロードする場合、フィルタリングはファイルがソースから読み取られた後に行われるため、ファイル全体のサイズが常に計算されます。

大規模なデータセットにオンデマンド アプリを使用する

オンデマンドアプリ生成 (ODAG) を使用すると、まず集計データをロードし、必要なときにのみ詳細なサブセットを取得することで、大規模なデータセットを処理できます。

詳細については、「On-demand アプリ」を参照してください。

Direct Query とダイナミック ビューで大規模なデータセットを処理する

Direct Query とダイナミック ビューを使用すると、すべてのデータをメモリにロードすることなく、オンデマンドで大規模なデータセットをクエリできます。これらのアプローチにより取り込み量が削減され、使用量を容量制限内に抑えることができます。

詳細は以下をご覧ください。

古いまたは未使用のアプリを管理する

テナント内のアプリは、最後に正常にリロードされた時点に基づいて、分析用データの使用量に影響を与え続けます。データがロードされたアプリが存在する限り、そのアプリは容量レポートに影響を与え続けます。

不要な使用量を避けるには:

不要なデータを削減または削除する

完全なデータセットが不要になったアプリからデータを削除するか、構造のみが必要な場合はデータのないアプリを作成します。より小さなデータセットでアプリをリロードすると、報告される使用量が更新されます。

不要な複製を避ける

アプリは必要な場合にのみコピーしてください。各コピーは個別のアプリとして扱われ、容量使用量に影響します。

共有スペースを意図的に使用する

共有スペースを使用することで、リロードの場所と方法を制御できます。

不要になったアプリを削除する

定期的なクリーンアップにより、古いコンテンツが容量を消費するのを防ぎます。

  • カタログで [最終更新日]、 [Viewed by] (閲覧者)、 [Used in] (使用場所) を確認して、使用されていないアイテムを特定します。

  • 影響分析と系列を使用して、データ ファイルがどこで使用されているかを把握します。

  • アクティビティ センターから使用されていないアプリとデータファイルを削除します。管理者は、管理画面からもアプリを削除できます。

詳細は以下をご覧ください。

リロード関連の消費量を削減する

アプリのリロードによって報告されるサイズは、リロードによってデータセットが小さくなった場合にのみ減少します。報告されるサイズを減らすには、より少ないデータでアプリをリロードし、報告されるサイズを更新します。

アプリのリロード動作

  • 新しいデータなしでアプリをリロードした場合、報告されるサイズは変わりません。

  • アプリを別のスペースにコピーすると、別のアプリとして扱われ、容量使用量に再度カウントされます。

リロード関連の消費量を制限する方法

次の 2 つの方法のいずれかを使用して、リロード関連のデータ消費量を削減できます。どちらの方法もアプリからデータを削除します。

  • ロード スクリプトを早期に停止する: ロード スクリプトの先頭に Exit script; ステートメントを追加して、データなしでアプリをリロードします。完全なデータが必要な場合は、このステートメントをコメント アウトするか、特定のシナリオ (例: アプリが特定のスペースにある場合など) でのみ実行されるように条件を適用します。

  • データなしでアプリを再作成する: データなしでアプリをダウンロードし、新しいアプリとしてインポートします。新しいバージョンを検証した後、元のアプリを削除します。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。