# Qlik Open Lakehouse ストレージ タスクの監視

Qlik Open Lakehouse プロジェクトのストレージ タスクは、他のプロジェクトとは異なり、バッチ モードではなく連続的に実行されます。その結果、監視のメトリクスも異なります。

## 一般的な監視の概要

監視ビューでは、タスクのステータスやメトリクスを追跡できます。

* タブ

  タスクの各フェーズに関連するメトリクスを表示するには、 [情報]、 [フル ロード]、 [変更処理] を切り替えます。

* データセット ステータス フィルター

  データセット テーブルの上部には棒グラフが表示され、各ステータス (キューに登録済み、ロード中、完了、エラー) のデータセット数を確認できます。チャートはデータセットのステータス変更に応じて動的に更新されます。ステータスのセグメントをクリックすると、そのステータスのデータセットのみが表示されるようテーブルをフィルタリングできます。

* ウィジェットを非表示

  [ウィジェットを非表示] をクリックすると、メトリクス ウィジェットを折りたたむことができます。これにより、以下のデータセット テーブルを表示するためのスペースが広がります。

* 開始日

  現在のタスク実行が開始された日時。

* 終了日

  タスクの実行が終了した日時。これは、完了したタスク実行に対してのみ表示されます。

* 実行履歴

  [実行履歴] をクリックして、以前のタスク実行とその結果のリストを表示します。

## 情報監視の詳細

[情報] セクションは、タスク全体のステータスを要約したものです。

* 実行

  現在の実行の [実行 ID] を表示します。

* データ

  [Data task is updated to] (データ タスクの更新時刻) には、もっとも古いビューが更新された時刻が表示されます。これは、その時点までにコミットされたすべてのソース変更がターゲット テーブルで既に利用可能である最新の時点を表します。

  新しいソースの変更が検出されない場合、この値は現在の時刻に設定されます。

* タスク

  このタスクが実行されているクラスターの名前とステータス、および一般的なタスク情報とステータスを表示します。

## フル ロード監視の詳細

[フル ロード] のデータ タスクについて、次の統計を確認できます。

* データセットの総数

  ロードされたデータセットの数。

* エラーがあるデータセット

  エラーがあるデータセットの数。

* 受信した変更

  受信した変更の数。

* 総レイテンシー

  タスクの現在のレイテンシー (hh:mm:ss)。この時間は、ソースで変更が使用可能になった時点から、変更が適用されてターゲットで使用可能になるまでの時間を表します。

データ タスクの各テーブルについて、次の詳細を確認できます。

* 名前

  ターゲット テーブルの名前。

* 状態

  テーブルの状態は、キューに登録済み、ロード中、完了、エラーのいずれかになります。

* 開始

  ロードが開始された時間。

* 終了

  ロードが終了した時間。

* 期間

  hh:mm:ss の形式でのロードの期間。

* レコード

  ロード中にレプリケートされたレコードの数。

* メッセージ

  ロードが正常に処理されなかった場合にエラー メッセージを表示します。

## 変更処理モニタリングの詳細

データ タスクの次の詳細を確認することで、 [変更処理] での変更処理を監視できます

* データセットの総数

  ロードされたデータセットの数。

* エラーがあるデータセット

  エラーがあるデータセットの数。

* 受信した変更

  受信した変更の数。

* 処理された変更

  処理された変更の数。

* 総レイテンシー

  タスクの現在のレイテンシー (hh:mm:ss)。この時間は、ソースで変更が使用可能になった時点から、変更が適用されてターゲットで使用可能になるまでの時間を表します。

データ タスクの各テーブルについて、次の詳細を確認できます。

* 名前

  ランディング アセットのターゲット テーブルの名前。

* State

  テーブルの状態は、変更の累計またはエラーのいずれかになります。

* 変更を受信

  ランディング タスクによって処理され、ストレージ タスクによって適用されるのを待っている変更の数。

* 処理済みの変更

  データセットが最後にフル ロードされてから (最初のフル ロードまたはリロード演算によって)、ターゲットに適用された変更の総数。

* 最後処理

  ターゲット データセットに挿入された最後のデータ ソースの時刻。

* 最適化されていない変更

  ビューを介してクエリ可能だが、まだ最適化済みの Iceberg パーティションにマージされていないレコード数です。バックグラウンドでの最適化が終了するまで、カウント数が多いとパフォーマンスに影響する可能性があります。

  これは、変更パーティションに現在あるレコードのうち、現在のパーティションや履歴パーティションにまだ適用されていないレコードの数を反映しています。

  この数値が常に高い場合は、最適化を加速するためにクラスターの計算能力を増やすことを検討してください。

  情報メモ

  値が継続的に高いか上昇している場合、通常は受信する変更のペースが最適化サイクルを上回っていることを意味します。つまり、前の変更バッチの最適化が完了する前に次の変更バッチが到着し続けている状態です。これは、最適化の失敗や停止を示すものではなく、データの正確性にも影響しません。

  この状態が続く場合の確認事項は次のとおりです。

  * 最適化を加速するために、クラスターの計算能力を増やす。

  * プライマリ キーの見直し - 小さな行セットに更新が集中するようなキーは、チャーンの増加を引き起こします。

* メッセージ

  テーブルへの変更が失敗し処理されない場合に、エラー メッセージを表示します。

## 実行履歴の表示

タスクの実行履歴を表示することで根本原因を特定し、経時的なパターンを把握できます。

* タスクの [モニター] ビューで、 [実行履歴] をクリックします。

* [モニター] ビューのタスクにある、 [...] メニューで、 [実行履歴] をクリックします。

フィルターの選択に基づいて、最大 100 件の実行が実行履歴に表示されます。他の実行を表示するには、フィルター条件を調整してください。実行終了日とタスク ステータスでフィルターできます。実行情報は 13 か月間保持されます。実行内のデータセットのメタデータは 30 日間保持されます。