# 個々のデータ タスクの監視 データ タスクのステータスと進行状況を監視するには、データ タスク ウィンドウの左上にあるドロップダウン メニューから [監視] を選択します。 モニター ビューを作成して、複数のデータ タスクを監視することもできます。詳細については、「[データ タスクの監視と操作](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Monitoring-your-data-tasks.htm)」を参照してください。 ## 一般的な監視の概要 監視ビューはすべてのタスク タイプで利用でき、タスクのステータスやメトリクスを追跡できます。 * タブ 利用可能なタブ (情報、フル ロード、変更処理、バッチ、ストリーミングなど) を、タスク タイプに応じて切り替えることができます。各タブの詳細については、以下の該当するタスク セクションを参照してください。 * データセット ステータス フィルター データセット テーブルの上部には棒グラフが表示され、各ステータス (キューに登録済み、ロード中、完了、エラー) のデータセット数を確認できます。チャートはデータセットのステータス変更に応じて動的に更新されます。ステータスのセグメントをクリックすると、そのステータスのデータセットのみが表示されるようテーブルをフィルタリングできます。 * ウィジェットを非表示 [ウィジェットを非表示] をクリックすると、メトリクス ウィジェットを折りたたむことができます。これにより、以下のデータセット テーブルを表示するためのスペースが広がります。 * 開始日 現在のタスク実行が開始された日時。 * 終了日 タスクの実行が終了した日時。これは、完了したタスク実行に対してのみ表示されます。 * 実行履歴 実行履歴をクリックして、以前のタスク実行とその結果のリストを表示します。 ## データ移動タスクの監視 使用可能な監視オプションは、タスク タイプとコネクタ タイプの両方に応じて決まります。一部のコネクタは CDC をサポートしていないため ([Epicor](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/WebApplications/Connecting-Epicor.htm) など)、それらのコネクタでは CDC に関連する監視オプションは表示されません。同様に、一部のコネクタはフル ロードをサポートしていないため、フル ロードに関連する監視オプションはそれらのコネクタには表示されません。 ### データ パイプラインのユース ケース: ランディング タスク すべてのランディング タスクは、ソース データをターゲットにフル ロードすることから開始する必要があります。最初のフル ロードが完了すると、ソース データへの変更によりターゲット データが更新されます。これは、タスク定義に従って、 [リロードして比較] または [変更データ キャプチャ (CDC)] を使用して実行できます。 ランディング タスクの詳細については、「[データ ソースからのランディング データ](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Landing-data-data-sources.htm)」を参照してください。 ### レプリケーションのユース ケース: 「データのレプリケート」 タスク 「データのレプリケート」 タスクは、通常ソース データをターゲットにフル ロードすることから開始します。次の表は、フル ロードのユース ケースをまとめたものです。 | ユース ケース | フル ロード | | --- | --- | | SaaS アプリケーションからのレプリケーション。 | 必須の有無 | | データベースなどの他のデータ ソース タイプからのレプリケーション | オプション | SaaS 以外のアプリケーション ソースからレプリケートする場合、ソース データがターゲットにすでに存在し、ソースの変更をターゲットに適用する (または後で適用するために保存する) だけの場合、レプリケーション モードは [変更の適用]、 [変更の保存]、またはその両方になります。これらのレプリケーション モードは、どちらも CDC 監視に表示されます。 「データのレプリケート」タスクの詳細については、次のトピックを参照してください。 [Standard、Premium、または Enterprise サブスクリプションを使用して、データをレプリケートします](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/replicating-other-subscriptions.htm) [Qlik Talend Cloud スターター サブスクリプションを使用したデータのレプリケート](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/replicating-starter-subscription.htm) ### レプリケーションのユース ケース: 「データレイクにデータをランディング」タスク 「データレイクにデータをランディング」タスクは、ランディング タスクと似ており、フル ロードで開始する必要があります。最初のフル ロードが完了すると、ソース データへの変更によりターゲット データが更新されます。これは、 [リロード] または [変更データ キャプチャ (CDC)] を使用して実行できます。ランディング タスクと似ていますが、「データレイクにデータをランディング」タスクは、ソースからターゲットへのレプリケーションのみで構成されるため、レプリケーション タスクとみなされます。データ パイプラインで使用可能な、データをさらにダウンストリームで操作する可能性はありません (例: 変換やデータ マートを使用する) 。 情報メモ「データ レイクにデータをランディング」タスクを別途作成する手順は、Qlik Talend Cloud スターター サブスクリプションとは関係ありません。Qlik Talend Cloud スターター サブスクリプションでは、クラウド ストレージ ターゲットへのレプリケーションは、標準の「データをレプリケート」タスクを介して実行されます。 「データレイクにデータをランディング」タスクの詳細については、「[Standard、Premium、または Enterprise サブスクリプションを使用して、データ レイクにデータをランディングします](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes.htm)」を参照してください。 ### SaaS アプリケーション ソースに新しい列が追加された後のメタデータの更新 タスクがすでに実行されている後に、SaaS アプリケーション ソースに新しい列が追加された場合、データ損失を防ぐためにメタデータを更新する必要があります。 これを実行するには、次の手順に従います。 1. 接続を開いて再保存します。 2. [データ パイプライン プロジェクトの作成と管理](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-projects.htm) で説明されているようにタスクを準備します。 ### 詳細の監視 次の監視の詳細を利用できます。 * 情報 * フル ロード * 処理の変更 * ストリーミング ストリーミング ランディング タスクでのみ利用できます。 #### 情報監視の詳細 タスクに関する一般情報、実行 ID、およびデータが更新された日時を表示できます。CDC タスクの場合、このタブでスケジュール情報も確認できます。 #### フル ロード 監視の詳細 [フル ロード] のデータ タスクについて、次の統計を確認できます。 * データセットの総数 ロードされたデータセットの数。 * エラーがあるデータセット エラーがあるデータセットの数。 * 総レイテンシー タスクの現在のレイテンシー (hh:mm:ss)。この時間は、ソースで変更が使用可能になった時点から、変更が適用されてターゲットまたはランディングで使用可能になるまでの時間を表します。 * 総スループット ターゲット スループット (キロバイト/秒)。これは、変更レコードがターゲット エンドポイントに読み込まれる速度を示しています。 データ タスクの各データセットについて、次の詳細を確認できます。 * 名前 ターゲット データセットの名前。 * State テーブルの状態は、キューに登録済み、ロード中、完了、フル ロード未完了、エラーのいずれかになります。 SaaS アプリケーション ソースからデータをロードする際、一時的な中断により、モニターに [フル ロード未完了] の状態が表示されることがあります。このような中断は、SaaS アプリケーションのデータ クォータの超過や、サービスの不安定さなどによって引き起こされる場合があります。 タスクは、次回のスケジュールされた CDC インスタンスで自動的に再開されます。ただし、中断の原因となった問題がまだ解決されていない場合、フル ロードは一時停止したままになる可能性があります。次回のスケジュールされた CDC インスタンスを待たずに、手動でタスクを再開することもできます。 * 開始 ロードが開始された時間。 * 終了 ロードが終了した時間。 * 期間 hh:mm:ss の形式でのロードの期間。 * レコード ロード中にターゲットに書き込まれたレコードの数。 情報メモ ソース データ セットがフィルタリングされる場合、 [レコード] セクションは次の項目に置き換わります。 * 読み取りレコード: フィルタリング前にソース データセットから読み取られたレコードの数。 * 書き込みレコード (フィルタリング後): フィルタリング後に実際にターゲットに書き込まれたレコードの数。 データセットのフィルタリングの詳細については、「[データセットのフィルタリング](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Filter-data.htm)」を参照してください。 * メッセージ ロードが正常に処理されなかった場合にエラー メッセージを表示します。 #### 変更処理監視の詳細 [変更処理] では、前回の CDC 実行時 (または、現在の実行がまだ完了していない場合はその実行中) に、すべてのテーブルに対して適用された変更数が表示されます。タスクの開始以降に個々のデータセットに対して適用された変更数を確認するには、 [データセット] テーブルを参照してください。 次の変更処理統計を表示できます。 * データセットの総数 ロードされたデータセットの数。 * エラーがあるデータセット エラーがあるデータセットの数。 * 総レイテンシー タスクの現在のレイテンシー (hh:mm:ss)。この時間は、ソースで変更が使用可能になった時点から、変更が適用されてターゲットまたはランディングで使用可能になるまでの時間を表します。 * 総スループット ターゲット スループット (キロバイト/秒)。これは、変更レコードがターゲット エンドポイントに読み込まれる速度を示しています。 * 受信変更の総数 ソースに存在し、処理を待機している変更の数。ソースに蓄積されている数と、適用されている数を確認できます。 * 適用変更の総数 ターゲットまたはランディングに適用された変更の数。追加、削除、更新の数を表示できます。 データ タスクの各テーブルについて、次の詳細を確認できます。 情報メモSaaS アプリケーションコネクタを使用して定義されたタスクでは、すべての操作が挿入となるため、 [挿入]、 [更新]、 [削除] の列は表示されません。 * [Name] (名前) ランディング アセットのターゲット テーブルの名前。 * State テーブルの状態は、次のいずれかになります。変更の累積、 エラー、または完了 (スケジュールされた CDC タスクの場合)。 * 最後処理 テーブルが最後に変更された日時。 * 挿入、更新、削除 情報メモ ソース データセットがフィルタリングされると、 [挿入]、 [更新]、 [削除 ] 列は次のようにグループ化されます。 * 読み取り: フィルタリング前にソース データセットから読み取られた変更 (挿入、更新、削除) の数。 * 書き込み (フィルタリング後): フィルタリング後に実際にターゲットに書き込まれた変更 (挿入、更新、削除) の数。 データセットのフィルタリングの詳細については、「[データセットのフィルタリング](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Filter-data.htm)」を参照してください。 * 挿入 挿入操作の回数。 * 更新 更新操作の回数。 情報メモ更新は、SaaS アプリケーション ソースに対して挿入として処理されます。 * 削除 削除操作の回数。 * DML (挿入/更新) 情報メモこの列は、SaaS アプリケーション コネクタで定義されたタスクに対してのみ表示されます。 情報メモ ソース データセットがフィルタリングされると、 [挿入]、 [更新]、 [削除 ] 列は次のようにグループ化されます。 * 読み取り DML (挿入/更新): フィルタリング前にソース データセットから読み取られた DML (挿入および更新) の数。 * 書き込み DML (挿入/更新): フィルタリング後に実際にターゲットに書き込まれた DML (挿入および更新) の数。 データセットのフィルタリングの詳細については、「[データセットのフィルタリング](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Filter-data.htm)」を参照してください。 * DDL 操作 DDL 操作の回数。 情報メモ「データのレプリケート」タスクでのみ使用できます。 * メッセージ テーブルへの変更が失敗し処理されない場合に、エラー メッセージを表示します。 オンプレミス ソースからデータをランディングし、[フル ロード] モードを選択した場合、ランディング アセットが [実行] のときにテーブルが自動的にリロードされます。 オンプレミス ソースからデータをランディングし、[フル ロードおよび CDC] モードを選択した場合、最初のフル ロードの後、テーブルは新しいデータで継続的に更新されます。 ### 選択したテーブルのリロード 選択したテーブルをソースから手動でリロードできます。これは、エラーを含む単一のテーブルを復元する場合に便利です。テーブルのリロードは CDC タイムラインには影響せず、[テーブルを再作成] を使用するとリセットされます。テーブルをリロードするときにメタデータの変更は反映されません。 * 選択したテーブルをリロードするには、 [監視] の下半分でテーブルを選択し、 [テーブルのリロード] をクリックします。 データ タスクの実行に必要なものと同じ権限、つまり、[所有者] または [操作可能] のロールが必要です。 [テーブルのリロード] は、データ タスクの最初の実行後に使用できます。更新方法が [リロードして比較] である場合、データ タスクの実行中は [テーブルのリロード] を使用できません。 ダウンストリームのストレージ データ タスクは、次回実行時に同期されます。ストレージ タスクの履歴が有効になっている場合、それは維持されます。 テーブルをリロードしても回復できない場合、次のステップとしてデータ タスクを修復します。 ### すべてのテーブルをターゲットにリロードする 特定のテーブルをリロードしても解決できない CDC の問題が発生した場合は、すべてのテーブルをターゲットにリロードできます。問題の例としては、イベントの欠落、ソース データベースの再編成による問題、ソース データベース イベントの読み取り時の失敗などがあります。 情報メモこの演算は、更新方法が変更データ キャプチャ (CDC) で、少なくとも 1 回実行されたタスクでのみ使用できます。 1. データ タスクとそれを消費するすべてのタスクを停止します。 2. データ タスクを開き、 [監視] タブを選択します。 3. [ ...] 、 [ターゲットをリロード] の順にクリックします。 これにより、Drop-Create を使用してすべてのテーブルがターゲットにリロードされ、今後すべての変更データ キャプチャが再開されます。 * ランディング データ タスクを消費するストレージ タスクは、比較によってリロードされ、次回の実行時に適用されて同期されます。既存の履歴は保持されます。タイプ 2 の履歴は、リロードと比較処理が実行された後に変更を反映して更新されます。 タイプ 2 の履歴の開始日の日付と時刻はリロード日を反映し、必ずしもソースで変更が発生した日付とは限りません。 * ターゲットのリロード操作中、およびストレージが同期されるまで、ストレージ ライブ ビューは信頼できません。ストレージは次の場合に完全に同期されます。 * すべてのテーブルが比較と適用を使用してリロードされた場合。 * 各テーブルに対して 1 サイクルの変更が実行された場合。 ## ストレージ、変換、データ マート、ミラーリング、ナレッジ マートのタスクの監視 ストレージ、変換、データ マート、ミラーリング、またはナレッジ マート タスクのステータスと進行状況を監視できます。 次の監視の詳細を利用できます。 * 情報 * フル ロード * バッチ #### 情報監視の詳細 タスクに関する一般情報、実行 ID、およびデータが更新された日時を表示できます。 #### フル ロード 監視の詳細 情報メモSaaS アプリケーションコネクタを使用して定義されたタスクについては、フル ロードの監視情報は該当しないため、表示されません。 [フル ロード] のデータ タスクについて、次の統計を確認できます。 * データセットの総数 ロードされたデータセットの数。 * エラーがあるデータセット エラーがあるデータセットの数。 * 総スループット ターゲット スループット (キロバイト/秒)。これは、変更レコードがターゲット エンドポイントに読み込まれる速度を示しています。 #### バッチ監視の詳細 変更のバッチに関する統計を表示できます。 * データセットの総数 ロードされたデータセットの数。 * エラーがあるデータセット エラーがあるデータセットの数。 * 総レイテンシー タスクの現在のレイテンシー (hh:mm:ss)。この時間は、ソースで変更が使用可能になった時点から、変更が適用されてターゲットまたはランディングで使用可能になるまでの時間を表します。 * 総スループット ターゲット スループット (キロバイト/秒)。これは、変更レコードがターゲット エンドポイントに読み込まれる速度を示しています。 * ソース ソースにおけるレイテンシーとスループット。 * ターゲット ターゲットにおけるレイテンシーとスループット。 * 受信変更の総数 ソースに存在し、処理を待機している変更の数。ソースに蓄積されている数と、適用されている数を確認できます。 * 適用変更の総数 ターゲットまたはランディングに適用された変更の数。追加、削除、更新の数を表示できます。 ### ステータスと進捗状況の表示 [データセット] では、各データセットまたは変更について、次の詳細を表示できます。 * 名前 ターゲット データセットの名前。 * State テーブルの状態は、キューに登録済み、ロード中、完了、エラーのいずれかになります。 * 開始 ロードが開始された時間。 * 終了 ロードが終了した時間。 * 期間 hh:mm:ss の形式でのロードの期間。 * レコード ロード中にターゲットに書き込まれたレコードの数。 情報メモ ソース データ セットがフィルタリングされる場合、 [レコード] セクションは次の項目に置き換わります。 * 読み取りレコード: フィルタリング前にソース データセットから読み取られたレコードの数。 * 書き込みレコード (フィルタリング後): フィルタリング後に実際にターゲットに書き込まれたレコードの数。 データセットのフィルタリングの詳細については、「[データセットのフィルタリング](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Filter-data.htm)」を参照してください。 * メッセージ ロードが正常に処理されなかった場合にエラー メッセージを表示します。 [Data task is updated to] (データ タスクの更新時刻) に示されている時点までのすべてのソース トランザクションからのデータは、このデータ タスクから使用できます。この情報は、すべてのテーブルがロードされ、最初の変更セットが適用されると、データ タスクで使用できるようになります。ライブ ビューを生成することを選択した場合は、ライブ ビューが更新されたときに表示することもできます。 初回のロードが完了する前の変更バッチがある場合は、初回のロードが完了して変更の最初のバッチが適用されるまで、 [Data task is updated to] (データ タスクの更新時刻) は更新されません。例えば、100 万件の注文を含む注文データセットと 1,000 万件の注文詳細を含む注文詳細データセットを含むデータ アセットをロードするとします。データセットは、フルロードを実行するのにそれぞれ 10 分と 20 分かかります。注文データセットが最初にロードされ、次に注文の詳細データセットがロードされます。注文データセットのロード中に、新しい注文が挿入されました。そのため、注文の詳細がロードされると、注文データセットにまだ存在しない新しい注文の詳細が含まれている可能性があります。注文と注文の詳細データセットは同期され、変更の最初のバッチが適用された後、同時に完全に更新されます。 ### 詳細情報の表示 SQL ステートメント レベルの詳しい情報を表示できます。 1. 詳細を監視するデータセットを選択します。 2. [詳細を監視] をクリックします。 [詳細を監視] が表示され、ロードまたは変更プロセスの各ステップに対して実行されるコマンドを表示できます。コマンドをクリックして、実行されたフル SQL ステートメントを表示できます。 * [CSV にエクスポート] をクリックして、すべてのリストされたコマンドのフル SQL ステートメントとともにテキスト ファイルをエクスポートします。 ## ビューの [Data task is updated to] (データ タスクの更新時刻) [Data task is updated to] (データ タスクの更新時刻) 項目には、もっとも古いビューが更新された時刻が表示されます。 * 標準ビュー [Data task is updated to] (データ タスクの更新時刻) には、もっとも古い標準ビューが更新された時刻が表示されます。 たとえば、タスクに「注文」と「注文の詳細」という 2 つのテーブルがあるとします。「注文」は 10:01 に更新され 10:00 と 10:01 のレコードを含み 、「注文の詳細」は 10:00 のレコードのみを含みます。この場合、データ タスクの更新時刻は 10:00 になります。これを、データ タスクのロードの開始時間と終了時間 (10:02 ～ 10:03) と混同しないようにしてください。 * ライブ ビュー (ストレージ データ タスク) [Data task is updated to] (データ タスクの更新時刻) には、もっとも古いライブ ビューが更新された時刻が表示されます。 たとえば、タスクに「注文」というテーブルがあるとします。ランディングの「注文」は 10:00 と 10:01 のレコードで 10:01 に更新されますが、ストレージの「注文」は 10:00 のレコードのみで更新されます。この場合、「注文」のライブ ビューは 10:01 に更新され、標準ビューは 10:00 に更新されます。 ## 実行履歴の表示 タスクの実行履歴を表示することで根本原因を特定し、経時的なパターンを把握できます。 * タスクの [モニター] ビューで、 [実行履歴] をクリックします。 * [モニター] ビューのタスクにある、 [...] メニューで、 [実行履歴] をクリックします。 フィルターの選択に基づいて、最大 100 件の実行が実行履歴に表示されます。他の実行を表示するには、フィルター条件を調整してください。実行終了日とタスク ステータスでフィルターできます。実行情報は 13 か月間保持されます。実行内のデータセットのメタデータは 30 日間保持されます。