個々のデータ タスクの監視
データ タスクのステータスと進行状況を監視するには、データ タスク ウィンドウの左上にあるドロップダウン メニューから [監視] を選択します。
モニター ビューを作成して、複数のデータ タスクを監視することもできます。詳細については、「データ タスクの監視と操作」を参照してください。
ランディングタスクとレプリケーションタスクの監視
ランディング タスクとレプリケーション タスクの監視は、初期負荷と CDC の両方を監視できるという点で似ていますが、ユース ケースが対照的であるため、いくつかの顕著な違いがあります。
-
データ パイプラインのユース ケース: ランディング タスク
すべてのランディング タスクは、ソース データをターゲットにフル ロードすることから開始する必要があります。最初のフル ロードが完了すると、ソース データへの変更によりターゲット データが更新されます。これは、タスク定義に従って、 [リロードして比較] または [変更データ キャプチャ (CDC)] を使用して実行できます。
ランディング タスクの詳細については、「データ ソースからのランディング データ」を参照してください。
-
レプリケーションのユースケース: 「データのレプリケート」タスク
「データのレプリケート」 タスクは、通常ソース データをターゲットにフル ロードすることから開始します。これは、SaaS アプリケーションからレプリケートする場合は必須ですが、データベースからレプリケートする場合は任意です。データベースからレプリケートする場合、ソース データがターゲットにすでに存在し、ソースの変更をターゲットに適用する (または後で適用するために保存する) だけの場合、レプリケーション モードは [変更の適用]、 [変更の保存]、またはその両方になります。これらのレプリケーション モードは、どちらも CDC モニタリングに表示されます。
「データのレプリケート」タスクの詳細については、「データをレプリケートする」を参照してください。
-
レプリケーションのユースケース: 「データレイクにデータをランディング」タスク
「データレイクにデータをランディング」タスクは、ランディング タスクと似ており、フル ロードで開始する必要があります。最初のフル ロードが完了すると、ソース データへの変更によりターゲット データが更新されます。これは、 [リロード] または [変更データ キャプチャ (CDC)] を使用して実行できます。ランディング タスクと似ていますが、「データレイクにデータをランディング」タスクは、ソースからターゲットへのレプリケーションのみで構成されるため、レプリケーション タスクとみなされます。データ パイプラインで使用可能な、データをさらにダウンストリームで操作する可能性はありません (例: 変換やデータ マートを使用する) 。
「データレイクにデータをランディング」タスクの詳細については、「データ レイクにデータをランディング」を参照してください。
詳細の監視
[フル ロード ステータス] のデータ タスクについて、次の詳細を確認できます。
-
キューに登録済み - 現在キューに入れられているテーブルの数。
-
ロード中 - 現在ロードされているテーブルの数。
-
完了 - 完了したテーブルの数。
-
エラー - エラーのあるテーブルの数。
データ タスクの各テーブルについて、次の詳細を確認できます。
-
名前
ターゲット テーブルの名前。
-
状態
テーブルの状態は次のいずれかになります。キューに登録済み、ロード中、完了、エラー。
-
開始
ロードが開始された時間。
-
終了
ロードが終了した時間。
-
期間
hh:mm:ss の形式でのロードの期間。
-
レコード
ロード中にレプリケートされたレコードの数。
-
キャッシュされた変更
キャッシュされた変更の数。
-
メッセージ
ロードが正常に処理されなかった場合にエラー メッセージを表示します。
変更データキャプチャ (CDC)監視の詳細
データ タスクの次の CDC の詳細を確認することで、 [CDC ステータス] での変更処理を監視できます
-
変更の受信 - ソースに存在し、処理を待機している変更の数。蓄積された数と適用されている数を表示できます。
-
処理済みの変更 - 処理および適用された変更の数 (過去 24 時間)。
-
スループット - 平均ターゲット スループット (キロバイト/秒)。これは、変更レコードがターゲット エンドポイントに読み込まれる速度を示しています。
-
待機時間 - データ アセットの現在の待機時間 (hh:mm:ss) この時間は、ソースで変更が使用可能になった時点から、変更が適用されてターゲットまたはランディング アセットで使用可能になるまでの時間を表します。
データ タスクの各テーブルについて、次の詳細を確認できます。
-
名前
ランディング アセットのターゲット テーブルの名前。
-
状態
テーブルの状態は次のいずれかになります。変更の累計 または エラー。
-
最後処理
テーブルが最後に変更された日時。
-
挿入
挿入操作の回数。
-
更新
更新操作の回数。
情報メモ更新は、SaaS アプリケーション ソースに対して挿入として処理されます。 -
削除
削除操作の回数。
-
DDL 操作
DDL 操作の回数。
情報メモ「データのレプリケート」タスクでのみ使用できます。 -
メッセージ
テーブルへの変更が失敗し処理されない場合に、エラー メッセージを表示します。
オンプレミス ソースからデータをランディングし、[フル ロード] モードを選択した場合、ランディング アセットが [実行] のときにテーブルが自動的にリロードされます。
オンプレミス ソースからデータをランディングし、[フル ロードおよび CDC] モードを選択した場合、最初のフル ロードの後、テーブルは新しいデータで継続的に更新されます。
選択したテーブルのリロード
選択したテーブルをソースから手動でリロードできます。これは、エラーを含む単一のテーブルを復元する場合に便利です。テーブルのリロードは CDC タイムラインには影響せず、[テーブルを再作成] を使用するとリセットされます。テーブルをリロードするときにメタデータの変更は反映されません。
-
選択したテーブルをリロードするには、 [監視] の下半分でテーブルを選択し、 [テーブルのリロード] をクリックします。
データ タスクの実行に必要なものと同じ権限、つまり、[所有者] または [操作可能] のロールが必要です。
[テーブルのリロード] は、データ タスクの最初の実行後に使用できます。更新方法が [リロードして比較] である場合、データ タスクの実行中は [テーブルのリロード] を使用できません。
ダウンストリームのストレージ データ タスクは、次回実行時に同期されます。ストレージ タスクの履歴が有効になっている場合、それは維持されます。
テーブルをリロードしても回復できない場合、次のステップとしてデータ タスクを修復します。
すべてのテーブルをターゲットにリロードする
特定のテーブルをリロードしても解決できない CDC の問題が発生した場合は、すべてのテーブルをターゲットにリロードできます。問題の例としては、イベントの欠落、ソース データベースの再編成による問題、ソース データベース イベントの読み取り時の失敗などがあります。
- データ タスクとそれを消費するすべてのタスクを停止します。
-
データ タスクを開き、 [監視] タブを選択します。
-
[ ...] 、 [ターゲットをリロード] の順にクリックします。
これにより、Drop-Create を使用してすべてのテーブルがターゲットにリロードされ、今後すべての変更データ キャプチャが再開されます。
-
ランディング データ タスクを消費するストレージ タスクは、比較によってリロードされ、次回の実行時に適用されて同期されます。既存の履歴は保持されます。タイプ 2 の履歴は、リロードと比較処理が実行された後に変更を反映して更新されます。
タイプ 2 の履歴の開始日の日付と時刻はリロード日を反映し、必ずしもソースで変更が発生した日付とは限りません。
-
ターゲットのリロード操作中、およびストレージが同期されるまで、ストレージ ライブ ビューは信頼できません。ストレージは次の場合に完全に同期されます。
-
すべてのテーブルが比較と適用を使用してリロードされた場合。
-
各テーブルに対して 1 サイクルの変更が実行された場合。
-
ストレージ、変換、データ マート タスクの監視
ストレージ、変換、またはデータ マート タスクのステータスと進行状況を監視できます。
-
最初のロードが実行されているときは、 [フルロードステータス] で進行状況を表示できます。
-
変更が処理されている間、[変更の現在のバッチ] でステータスと進捗状況を確認することができます。
-
変更が処理されると、 [変更の最後のバッチ] のステータスと進行状況を表示することができます。
[監視] の下半分では、各データセットのステータスと進捗状況を確認できます。
また、SQL ステートメント レベルの詳しい情報も表示できます。
ステータスと進捗状況の表示
各データセットまたは変更について、次の詳細を表示できます。
-
状態
これは、このデータセットまたは変更の現在の状態を示しています。
-
完了 - ロードまたは変更が正常に完了しました。
-
ロード中 - テーブルまたは変更が処理されています。
-
キューに登録済み - テーブルまたは変更が処理されるのを待機しています
-
エラー - テーブルまたは変更の処理中にエラーが発生しました。
-
-
開始
ロードまたは変更処理が開始された時間。
-
終了
ロードまたは変更処理が終了した時間。
-
期間
hh:mm:ss の形式でのロードまたは変更処理の期間。
-
処理済みレコード
ロードまたは変更で処理されたレコードの数。
-
スループット (記録/秒)
ロードが完了するまで、スループットは更新されません。
-
メッセージ
ロードまたは変更が正常に処理されなかった場合にエラー メッセージを表示します。
レプリケーション タスクによってランディング エリアが更新されると、データセットは新しいデータで継続的に更新されます。各バッチは、特定の期間のレコードに関連しています。最新のバッチの期間は [変更の最後のバッチ] で確認できます。
[Data task is updated to] (データ タスクの更新時刻) に示されている時点までのすべてのソース トランザクションからのデータは、このデータ タスクから使用できます。この情報は、すべてのテーブルがロードされ、最初の変更セットが適用されると、データ タスクで使用できるようになります。ライブ ビューを生成することを選択した場合は、ライブ ビューが更新されたときに表示することもできます。
初回のロードが完了する前の変更バッチがある場合は、初回のロードが完了して変更の最初のバッチが適用されるまで、 [Data task is updated to] (データ タスクの更新時刻) は更新されません。例えば、100 万件の注文を含む注文データセットと 1,000 万件の注文詳細を含む注文詳細データセットを含むデータ アセットをロードするとします。データセットは、フルロードを実行するのにそれぞれ 10 分と 20 分かかります。注文データセットが最初にロードされ、次に注文の詳細データセットがロードされます。注文データセットのロード中に、新しい注文が挿入されました。そのため、注文の詳細がロードされると、注文データセットにまだ存在しない新しい注文の詳細が含まれている可能性があります。注文と注文の詳細データセットは同期され、変更の最初のバッチが適用された後、同時に完全に更新されます。
詳細情報の表示
SQL ステートメント レベルの詳しい情報を表示できます。
-
[モニター] の下の部分のドロップダウン リストで、[フル ロード]、[変更の現在のバッチ] または [変更の最後のバッチ] を選択します。
-
詳細を監視するデータセットを選択します。
-
[詳細を監視] をクリックします。
[詳細を監視] が表示され、ロードまたは変更プロセスの各ステップに対して実行されるコマンドを表示できます。コマンドをクリックして、実行されたフル SQL ステートメントを表示できます。
-
[CSV にエクスポート] をクリックして、すべてのリストされたコマンドのフル SQL ステートメントとともにテキスト ファイルをエクスポートします。
ビューの [Data task is updated to] (データ タスクの更新時刻)
[Data task is updated to] (データ タスクの更新時刻) 項目には、もっとも古いビューが更新された時刻が表示されます。
-
標準ビュー
[Data task is updated to] (データ タスクの更新時刻) には、もっとも古い標準ビューが更新された時刻が表示されます。
たとえば、タスクに「注文」と「注文の詳細」という 2 つのテーブルがあるとします。「注文」は 10:01 に更新され 10:00 と 10:01 のレコードを含み 、「注文の詳細」は 10:00 のレコードのみを含みます。この場合、データ タスクの更新時刻は 10:00 になります。これを、データ タスクのロードの開始時間と終了時間 (10:02 ～ 10:03) と混同しないようにしてください。
-
ライブ ビュー (ストレージ データ タスク)
[Data task is updated to] (データ タスクの更新時刻) には、もっとも古いライブ ビューが更新された時刻が表示されます。
たとえば、タスクに「注文」というテーブルがあるとします。ランディングの「注文」は 10:00 と 10:01 のレコードで 10:01 に更新されますが、ストレージの「注文」は 10:00 のレコードのみで更新されます。この場合、「注文」のライブ ビューは 10:01 に更新され、標準ビューは 10:00 に更新されます。