分析用データ

分析用データの要件に基づいて、データ パックをサブスクライブします。各ユーザーの個人スペースには、一定の分析用データ容量があります。この個人データは、分析用データの総量にはカウントされません。ただし、ユーザーが共同作業のためにデータを共有スペースに移動した場合は、合計容量に含まれます。

Qlik Cloud Analytics Starter エディションは、データ容量が固定されています。このエディションでは、サブスクリプションはユーザー数に基づいて決定されます。

分析用データ量の計算

分析用データの計算方法を理解することで、容量を効率的に使用することができます。このセクションでは、月間ピーク、データ ロード、アプリのリロード、データ作成の測定方法について説明します。

月次ピーク

Data for Analysis の容量を購入すると、データの保存と分析に必要なスペースがセットで提供されます。この容量は上限であり、消耗されるものではありません。例えば、250GB の容量を購入した場合、いつでも 250GB までのデータを保存・分析することができます。この上限を超えた場合、超過料金が発生する可能性があり、別途追跡されます。

毎日の使用量の追跡方法

お客様の利用状況は毎日追跡されます。毎日、システムは 1 日のピークを以下の合計として計算します。

• 保存されているファイルの合計サイズ

• アプリのリロード中に取り込まれるデータ量

• 派生または作成されたデータの量

繰り越しの仕組み

ある日にリロードが行われなかった場合、システムは直近のリロードから取り込まれたデータ値を繰り越します。新しい月が始まると、月間ピークはリセットされます。新月の初日にリロードが行われなかった場合、前月の最後のリロード値がその日に適用されます。

保存されたデータと派生データは、繰り越されることなく、常に毎日新たに測定されます。

特別なケース

• 使用量の値は、各アプリのリロードが最後に成功したときのものです。アプリが後に空のデータ モデルでリロードされた場合 (例えば、QVD ファイルの作成とエクスポートのみ)、報告される使用量は、最後にリロードに成功したときのサイズのままである可能性があります。

• 使用量は、アプリがリロードされたときにのみ更新されます。このため、アプリで表示されるデータと報告される分析用データの使用量に差異が生じることがあります。報告された使用量を減らすには、より小さなデータセットでアプリをリロードします。

繰り越しの例

以下の例では、新しいリロードが発生しない場合にリロード値がどのようにフォロワーされるか、またこの動作が保存データと作成データにどのように影響するかを示しています。

例 1 - 通常の繰り越し:

• 1 日目: 70 GB のデータ ファイルの保存、40 GB のアプリのリロード、30 GB のデータ ファイルの作成。1 日のピークは 140 GB。

• 2 日目: 60 GB のデータ ファイルの保存、0 GB のアプリのリロード、20 GB のデータ ファイルの作成。初日のリロード値 (40 GB) はそのまま繰り越されます。1 日のピークは 120 GB。

例 2 - QVD 専用アプリのシナリオ

• 1 日目 10 GB の外部データでアプリをリロードし、QVD ファイルを作成し、すべてのテーブルを削除します。最終的なアプリのモデルは空です。1 日のピークは 10 GB (リロード部分) です。

• 2 日目: リロードなし。アプリにテーブルがないにもかかわらず、1 日のピークは 10 GB のままです (リロード分は繰り越されます)。

新しいリロードだけがこの値を更新します。

つまり、1 日のピークは、(QVD のみのシナリオのようにアプリ自体が空の場合でも) 繰り越されたリロード データと、その日に保存または作成された新しいデータの両方を反映することができます。

月間ピークと高基準値

月間ピークとは、その月に記録された1日の最高ピークのことです。これは、データ使用量の合計が最も多かった日を示す、高基準値として機能します。毎月のピーク値を購入容量と比較し、超過料金が適用されるかどうかを判断します。

例 - 1 日の使用量から毎月のピークを特定

月間ピークがどのように決定されるかを示すため、この例では 4 日間だけ、購入容量 250 GB の単純化したシナリオを使用します。使用量は、1 日の最高ピークが月間のピークになることを説明するのに役立ちます。

このデータ テーブルは、4 日間のデータ使用量をタイプ別に分類したものです。

テーブル データの理解:

• 3 日目はデータのリロードはありません。2 日目のリロード分 (40 GB) は繰り越され、1 日のピーク (120 GB) に寄与します。

• 4 日目は 1 日のピークが最も高く (170 GB)、これが月間ピークとなります。

月間ピークが購入容量 250 GB 以内であるため、超過料金は適用されません。使用量が 250 GB を超えた場合、超過料金が発生したり、容量のアップグレードが必要になることがあります。

Qlik Cloud へのデータのロード

外部ソースから Qlik Cloud にロードされたデータは、日次ピークにカウントされます。1 つのテナントにロードされたデータは 1 回としてカウントされ、何度も分析および使用できます。 複数のテナントにロードされたデータは、複数回としてカウントされます。

日次ピークに寄与するデータは次のように測定されます。

• Qlik Sense アプリ経由でロードされたファイルベースのデータは、そのファイル サイズによって測定されます。

• クエリまたはコネクタを使用したアプリのリロードは、データ ソースから取り込まれた最大バイト数としてカウントされます。同じ日に複数のリロードが発生した場合、アプリ サイズがもっとも大きいものが日次ピークにカウントされます。たとえば、アプリが 1 日にそれぞれ 0.75 GB、1.25 GB、1 GB でリロードされた場合、その日に使用された値は 1.25 GB となります。

  Qlik Cloud テナント内にアプリが存在する限り、取り込まれた最大バイト数がアプリに対して評価されます。

• Qlik データ ゲートウェイ - データ移動 経由で Qlik Cloud にロードされたデータは、出来上がった QVD ファイルのサイズによって測定されます。

• 分析 アクティビティ センター内または qlik-cli を使用して、ファイル インポートによってアップロードまたはロードされたアプリは、アプリの情的バイト サイズによって測定されます。

• アップロードされた QVD ファイルは、そのファイル サイズによって測定されます。

次の状況では、データは日次ピークの計算に含まれません。

• ユーザーの個人スペースにロードされたデータは、個人スペース内に制限される場合に限り、カウントされません。他のユーザーと共同作業をするためにデータを共有スペースに移動した場合はカウントされます。

• リロードに失敗した場合、取り込まれたバイトはカウントされません。ただし、結果の QVD ファイルはすべてカウントされます。

• Qlik Cloud にすでに存在するデータを含むアプリをロードする場合、データのロードはカウントされません。たとえば、コピーまたはバイナリでロードされたアプリ (別の Qlik Sense アプリからデータをロード) は、外部ソースからリロードされない限り、1 日のピークに影響を与えません。

アプリのリロードで取り込まれたバイト数の測定

外部ソースから Qlik Sense アプリをリロードする場合、次のことが適用されます。

• データ量が変わらない場合に限り、日次ピークに影響を与えることなく、同じソース データセットからアプリを複数回リロードできます。

• ソース データセットのサイズが増加すると、日次ピークに影響が出ます。データセットに追加されるデータの各 GB と同等の量が、リロード中に取り込まれるデータに寄与されます。

• 逆に、ソース データセットのサイズが減少すると、その減少分は日次ピークにも反映されます。たとえば、データセットのサイズが 0.25 GB 減少すると、リロード サイズも同じ量だけ減少します。ただし、1 GB のリロードがその日の早い時間に発生した場合、その日の日次ピークは 1 GB になります。この減少は翌日の日次ピークにのみ反映されます。

• ソース データセットの内容が変更されても、そのサイズが変更されない限り、日次ピークには影響しません。日次ピークはデータ量にのみ影響されます。

• 1 つのロード スクリプト内で同じデータセットに複数回クエリを実行する場合、それらのクエリはすべて個別にカウントされ、そのデータ量は合計されます。たとえば、同じデータセットから 1 GB ずつの 3 つのクエリを含むロード スクリプトがある場合、それらの 3 つのクエリはすべて個別にカウントされます。したがって、日次ピークにカウントされる合計データ量は 3 GB になります。

• アプリをロードした後にテーブルを削除しても、日次ピークは減少しません。日次ピークは、アプリのその日の最大リロード サイズに基づいているためです。

• アプリをロードした後、同日に削除した場合でも、その日の日次ピークに寄与します。ただし、アプリが存在しなくなる翌日の日次ピークは減少します。

Qlik Talend Data Integration を使用して QVD ファイルにロードされたデータの測定

Qlik データ ゲートウェイ - データ移動 を使用して外部ソースから QVD ファイルにデータをロードする場合、次のことが適用されます。

• データ量が変わらない場合に限り、日次ピークに影響を与えることなく、複数回データセットをアップロード、インポート、または生成できます。

• ソース データセットのサイズが増加すると、日次ピークに影響が出ます。データセットに追加されるデータの各 GB と同等の量が、結果として得られる QVD ファイルのサイズに寄与されます。

• 逆に、ソース データセットのサイズが減少すると、その減少分は日次ピークにも反映されます。たとえば、データセットのサイズが 0.25 GB 減少すると、結果の QVD ファイルのサイズも同じ量だけ減少します。

• ソース データセットの内容が変更されても、そのサイズが変更されない限り、日次ピークには影響しません。日次ピークはデータ量にのみ影響されます。

外部ソースと内部ソースからのアプリのロード

データ ソースに応じて、アプリにロードされたデータが日次ピークにどのような影響を与えるかを理解することが重要です。データがさまざまなソースからロードされる、次のシナリオについて考えてみましょう。

• 外部ソースからアプリにロードする

  外部ソースからアプリにデータをロードすると、取り込まれたバイト数としてカウントされます。たとえば、10 GB をロードすると、日次ピークへの寄与は 10 GB になります。

• Qlik Cloud の QVD からアプリにロードする

  Qlik Cloud にある QVD ファイルからアプリにデータをロードしても、日次ピークにはカウントされません。10 GB のデータが QVD からアプリにロードされた場合、外部データの取り込みがないため、データはカウントされません。日次ピークへの寄与は 0 GB です。

• Qlik Cloud の QVD から新しい QVD ファイルを生成する

  Qlik Cloud ベースの QVD から QVD ジェネレーター アプリにロードされたデータは、日次ピークにはカウントされません。ただし、アプリから生成された QVD ファイルはカウントされます。たとえば、10 GB の QVD ファイルを新しい 5 GB の QVD に変換した場合、日次ピークへの寄与は 2 つのファイルの合計である 15 GB になります。外部データの取り込みがないため、QVD ジェネレーター アプリ (データ モデルを作成して QVD を生成する専用アプリ) のロードはカウントされません。

• 外部ソースと内部ソースの両方からアプリにロードする

  アプリが外部ソースから 10 GB をロードし、Qlik Cloud 内の QVD から 5 GB をロードした場合、外部ソースからロードされたデータのみがカウントされるため、アプリからの日次ピークへの寄与は 10 GB になります。

Qlik Cloud でのデータ作成

Qlik Cloud で新しいデータを作成すると、データ ファイルのコピーであるか、既存の生データを組み合わせた派生であるかにかかわらず、そのデータは日次ピークにカウントされます。データは、データ作成プロセスで生成されたファイルの合計サイズとして測定されます。作成されたデータは、使用するアプリの数に関係なく、1 回のみカウントされます。

データ作成の次の例を考えてみましょう。

• STORE ステートメントを使用して 1 GB QVD ファイルを作成すると、日次ピークに 1 GB が追加されます。

• 1 GB の QVD ファイルをコピーすると、両方のコピーが合計に寄与するため、日次ピークに 1 GB が追加されます。

• 変換を通じて 0.5 GB の QVD ファイルを作成すると、日次ピークに 0.5 GB が追加されます。結果として得られる QVD ファイルのみがカウントされます。 QVD ジェネレーター アプリは、すでに Qlik Cloud にあるデータをロードするため、カウントされません。

データ管理のベストプラクティス

適切なデータ管理を行うことでパフォーマンスが向上し、分析用データの能力を最大限に活用できます。このセクションでは、Qlik Cloud でデータを効率的に処理する方法について説明します。

• データを再利用するために QVD ファイルを作成する

  複数の Qlik Sense アプリで使用されるデータを扱う場合は、QVD ファイルの作成を検討してください。QVD ファイルを使用すると、データのロード 1 回で、日次ピークを増やすことなく複数のアプリで再利用できます。これにより、データの取り込みとストレージのコストを大幅に削減できます。

  たとえば、10 GB の外部データをロードして 5 GB の QVD ファイルを作成した場合、日次ピークに寄与するデータは合計 15 GB になります。同じデータを 2 つのアプリに直接ロードすると、20 GB になります。

  

  一般的に、 Qlik データ ゲートウェイ - データ移動 でデータを再利用するために QVD ファイルを作成するほうが、アプリでデータを直接リロードするよりも効率的です。

• 効率的なデータロードの方法を使用する

  SQL プッシュダウン変換を使用して、データのロードを最適化します。この手法には、データ変換と操作をデータ ソースに直接プッシュすることが含まれます。ソースでデータをフィルタリングおよび変換することにより、転送されるデータ量が減少し、ロードの効率が向上します。

  たとえば、このプッシュダウン クエリでは、WHERE 句がソース データに対して直接処理されます。特定の基準を満たすデータのサブセットのみが転送されるため、メモリにロードされるデータ量が減少します。

  Select * from my-external-database-table where my_column = 10

• QVD、Excel、CSV ファイルをロードする場合、ファイルがソースから読み取られた後に WHERE 句が処理され、ファイル全体がカウントされることに注意してください。

• 大規模なデータセットにオンデマンド アプリを使用する

  オンデマンド アプリ (ODAG) は、大規模なデータセットを扱う場合に便利です。ODAG を使用すると、親アプリの集計データをロードし、必要な場合に限り詳しいデータを取得できます。ユーザーは、ビッグ データ ストアの集計ビューを取得し、詳細な分析のために関連するデータのサブセットを特定してロードできます。詳細については、「On-demand アプリ」を参照してください。

• Direct Query とダイナミック ビューで大規模なデータセットを処理する

  大規模なデータセットの場合は、Direct Query およびダイナミック ビューの使用を検討してください。これらの機能を使用すると、すべてのデータをメモリにインポートまたはロードすることなく、大規模なデータセットの関連するサブセットをクエリおよび表示できます。インメモリ アプリと比較すると一部の制限はありますが、大量のデータセットを扱うには効率的な方法です。詳しくは「Direct Query アプリ」と「ダイナミック ビューによるデータの管理」を参照してください。

• 使用していないアプリやデータ ファイルを定期的にクリーンアップする

  リソースの使用量を最適化し、サイト全体のパフォーマンスを向上させるには、使用していないアプリとデータ ファイルを定期的に特定して削除します。次の手順は、クリーンアップに役立ちます。

  • [最終更新日]、[表示回数]、[Used in] (使用場所) 列を並べ替えて確認することで、カタログ内の未使用のアプリやデータ ファイルを特定できます。これにより、アイテムが過去 28 日以内に開かれたかどうか、およびデータ ファイルがいくつのアプリで使用されたかを確認できます。詳細については、「データセット メタデータの管理」を参照してください。

  • 影響分析と系列は、データ ファイルがどこで使用されているか、特定のアプリでどのデータ ファイルが使用されているかを確認するのに役立ちます。 詳細については、「 分析 での影響分析の分析」および「分析 の系列を分析する」を参照してください。

  • アクティビティ センターからアプリやデータ ファイルを削除できます。管理者は、管理 アクティビティ センターからアプリを削除することもできます。