Qlik Open Lakehouse ストレージ タスクの監視

Qlik Open Lakehouse プロジェクトのストレージ タスクは、他のプロジェクトとは異なり、バッチ モードではなく連続的に実行されます。その結果、監視のメトリクスも異なります。

一般的な監視の詳細

このセクションは、タスク全体のステータスを要約したものです。

• データ タスクの更新対象

  すべてのテーブルが完全に同期されるまでの日付と時刻。これは、その時点までにコミットされたすべてのソース変更がターゲット テーブルで既に利用可能である最新の時点を表します。

  新しいソースの変更が検出されない場合、この値は現在の時刻に設定されます。

• データセット数

  このタスクに含まれるデータセットの総数。

• エラーのあるデータセット

  このタスクでエラーが発生したデータセットの総数。

• レイクハウス クラスター

  このタスクが実行されているクラスターの名前とステータス。

フル ロード監視の詳細

[フル ロード ステータス] のデータ タスクについて、次の詳細を確認できます。

• キューに登録済み: 現在キューに入れられているテーブルの数。

• ロード中: 現在ロードされているテーブルの数。

• 完了: 完了したテーブルの数。

• エラー: エラーのあるテーブルの数。

データ タスクの各テーブルについて、次の詳細を確認できます。

• 名前

  ターゲット テーブルの名前。

• 状態

  テーブルの状態は、キューに登録済み、ロード中、完了、エラーのいずれかになります。

• 開始

  ロードが開始された時間。

• 終了

  ロードが終了した時間。

• 期間

  hh:mm:ss の形式でのロードの期間。

• レコード

  ロード中にレプリケートされたレコードの数。

• メッセージ

  ロードが正常に処理されなかった場合にエラー メッセージを表示します。

変更データキャプチャ (CDC)監視の詳細

データ タスクの次の CDC の詳細を確認することで、 [CDC ステータス] での変更処理を監視できます

• 変更の受信: ソースに存在し、処理を待機している変更の数。蓄積された数と適用されている数を表示できます。

• 処理済みの変更: 処理および適用された変更の数 (過去 24 時間)。

• レイテンシー: ストレージに処理されていないランディングで最も古いソース イベントの日付と時刻の間の時間差 (hh:mm:ss)。この時間は、ソースで変更が使用可能になった時点から、変更が適用されてランディング アセットで使用可能になるまでの時間を表します。

データ タスクの各テーブルについて、次の詳細を確認できます。

• 名前

  ランディング アセットのターゲット テーブルの名前。

• 状態

  テーブルの状態は、変更の累計またはエラーのいずれかになります。

• 変更を受信

  ランディング タスクによって処理され、ストレージ タスクによって適用されるのを待っている変更の数。

• 処理済みの変更

  データセットが最後にフル ロードされてから (最初のフル ロードまたはリロード演算によって)、ターゲットに適用された変更の総数。

• 最後処理

  ターゲット データセットに挿入された最後のデータ ソースの時刻。

• 最適化されていない変更

  ビューを介してクエリ可能だが、まだ最適化済みの Iceberg パーティションにマージされていないレコード数です。バックグラウンドでの最適化が終了するまで、カウント数が多いとパフォーマンスに影響する可能性があります。

  これは、変更パーティションに現在あるレコードのうち、現在のパーティションや履歴パーティションにまだ適用されていないレコードの数を反映しています。

  この数値が常に高い場合は、最適化を加速するためにクラスターの計算能力を増やすことを検討してください。

• メッセージ

  テーブルへの変更が失敗し処理されない場合に、エラー メッセージを表示します。