Qlik Open Lakehouse ストレージタスクの監視

Qlik Open Lakehouse プロジェクトのストレージタスクは、他のプロジェクトとは異なり、バッチモードではなく連続的に実行されます。その結果、監視のメトリクスも異なります。

一般的な監視の概要

監視ビューでは、タスクのステータスやメトリクスを追跡できます。

タブ

タスクの各フェーズに関連するメトリクスを表示するには、 [情報]、 [フルロード]、 [変更処理] を切り替えます。
データセットステータスフィルター

データセットテーブルの上部には棒グラフが表示され、各ステータス (キューに登録済み、ロード中、完了、エラー) のデータセット数を確認できます。データセットのステータスが変更されると、チャートは動的に更新されます。ステータスのセグメントをクリックすると、そのステータスのデータセットのみが表示されるようテーブルをフィルタリングできます。
ウィジェットを非表示

[ウィジェットを非表示] をクリックすると、メトリクスウィジェットを折りたたむことができます。これにより、以下のデータセットテーブルを表示するためのスペースが広がります。
開始日

現在のタスク実行が開始された日時。
終了日

タスクの実行が終了した日時。これは、完了したタスク実行に対してのみ表示されます。
実行履歴

[実行履歴] をクリックして、以前のタスク実行とその結果のリストを表示します。

情報監視の詳細

[情報] セクションは、タスク全体のステータスを要約したものです。

実行

現在の実行の [実行 ID] を表示します。
データ

[Data task is updated to] (データタスクの更新時刻) には、もっとも古いビューが更新された時刻が表示されます。これは、その時点までにコミットされたすべてのソース変更がターゲットテーブルで既に利用可能である最新の時点を表します。

新しいソースの変更が検出されない場合、この値は現在の時刻に設定されます。
タスク

このタスクが実行されているクラスターの名前とステータス、および一般的なタスク情報とステータスを表示します。

フルロード監視の詳細

[フルロード] のデータタスクについて、次の統計を確認できます。

データセットの総数

ロードされたデータセットの数。
エラーがあるデータセット

エラーがあるデータセットの数。
受信した変更

受信した変更の数。
総レイテンシー

タスクの現在のレイテンシー (hh:mm:ss)。この時間は、ソースで変更が使用可能になった時点から、変更が適用されてターゲットで使用可能になるまでの時間を表します。

データタスクの各テーブルについて、次の詳細を確認できます。

名前

ターゲットテーブルの名前。
状態

テーブルの状態は、キューに登録済み、ロード中、完了、エラーのいずれかになります。
開始

ロードが開始された時間。
終了

ロードが終了した時間。
期間

hh:mm:ss の形式でのロードの期間。
レコード

ロード中にレプリケートされたレコードの数。
メッセージ

ロードが正常に処理されなかった場合にエラーメッセージを表示します。

変更処理モニタリングの詳細

データタスクの次の詳細を確認することで、 [変更処理] での変更処理を監視できます

データセットの総数

ロードされたデータセットの数。
エラーがあるデータセット

エラーがあるデータセットの数。
受信した変更

受信した変更の数。
処理された変更

処理された変更の数。
総レイテンシー

タスクの現在のレイテンシー (hh:mm:ss)。この時間は、ソースで変更が使用可能になった時点から、変更が適用されてターゲットで使用可能になるまでの時間を表します。

データタスクの各テーブルについて、次の詳細を確認できます。

名前

ランディングアセットのターゲットテーブルの名前。
State

テーブルの状態は、変更の累計またはエラーのいずれかになります。
変更を受信

ランディングタスクによって処理され、ストレージタスクによって適用されるのを待っている変更の数。
処理済みの変更

データセットが最後にフルロードされてから (最初のフルロードまたはリロード演算によって)、ターゲットに適用された変更の総数。
最後処理

ターゲットデータセットに挿入された最後のデータソースの時刻。
最適化されていない変更

ビューを介してクエリ可能だが、まだ最適化済みの Iceberg パーティションにマージされていないレコード数です。バックグラウンドでの最適化が終了するまで、カウント数が多いとパフォーマンスに影響する可能性があります。

これは、変更パーティションに現在あるレコードのうち、現在のパーティションや履歴パーティションにまだ適用されていないレコードの数を反映しています。

この数値が常に高い場合は、最適化を加速するためにクラスターの計算能力を増やすことを検討してください。
メッセージ

テーブルへの変更が失敗し処理されない場合に、エラーメッセージを表示します。

実行履歴の表示

タスクの実行履歴を表示することで根本原因を特定し、経時的なパターンを把握できます。

タスクの [モニター] ビューで、 [実行履歴] をクリックします。
[モニター] ビューのタスクにある、 [...] メニューで、 [実行履歴] をクリックします。

フィルターの選択に基づいて、最大 100 件の実行が実行履歴に表示されます。他の実行を表示するには、フィルター条件を調整してください。実行終了日とタスクステータスでフィルターできます。実行情報は 13 か月間保持されます。実行内のデータセットのメタデータは 30 日間保持されます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください