クラウドデータウェアハウスのデータセットアーキテクチャ

Last updated: 2026/08/25

Qlik Talend Data Integration では、分析データパイプラインを作成、管理、制御して、消費者にデータを届けることができます。Qlik Talend Data Integration を使用してクラウドデータウェアハウスでデータセットを生成すると、ストレージテーブル、変更テーブル、ビューが生成されます。

直感的でガイド付きのユーザーインターフェイスは、データパイプラインの構築、モデル化、および実行に役立ちます。手動コーディングなしで、オペレーショナルデータストア (ODS) と履歴データストア (HDS) のスキーマを自動的に生成します。

クリックしてフルサイズを表示 — Qlik データゲートウェイ - データ移動と CDC を使用した Qlik Talend Data Integration データパイプラインのアーキテクチャ

ランディング

Qlik Talend Data Integration のランディングタスクは、データソースからランディングゾーンへのデータの継続的なランディングを制御します。図の例では、Qlik データゲートウェイ - データ移動を使用して CDC を使用したデータソースにアクセスし、データを最新の状態に保つ方法を説明しています。Qlik Cloud ソース接続を使用して、定期的にリロードするようにスケジュールできるフルロードを実行することもできます。

Data Movement gateway をいつ使用する必要があるかについては、「どのようなときに Data Movement gateway が必要ですか？」を参照してください

情報メモランディングゾーンのテーブルは、Qlik Talend Data Integration ストレージデータタスクによる内部使用のために生成されます。他のダウンストリームプロセスではランディングテーブルを使用しないでください。
ストレージ

ストレージタスクは、データがいつストレージテーブルに適用されるかを制御し、テーブルと外部ビューを作成および管理します。
外部ビュー

データを消費する場合のベストプラクティスは、ビューを使用することです。ビューにはデータの同時実行性の向上など、テーブルに比べていくつかの利点があります。

ライブビューの使用

ライブビューを使用して、現在のデータ (ODS) と履歴データ (HDS) の両方にアクセスできます。ライブビューには、まだ適用されていない変更テーブルのデータが含まれます。これにより、変更されたデータを頻繁に適用しなくても、待機時間の短いデータを表示できます。マージを遅らせる機能により、ターゲットプラットフォームでのコストと処理要件を削減できます。

ライブビューのもう 1 つの利点は、コンピューティング層を常に実行する必要がないことです。

ランディングは、高速実行による INSERT 操作を実行するだけであり、小規模で明示的なウェアハウスを指すことができます。
たとえば、1 日に 1 回実行されるストレージプロセスは、処理のために大規模なコンピューティングレイヤーをウェイクアップできます。
1 日を通して変更を適用する必要がなくなるため、待機時間を改善できます。挿入された新しいレコードが変更テーブルで使用できるようになると、ライブビューですぐに使用できるようになります。

video thumbnail

スキーマ

アーティファクトは、内部スキーマとデータタスクスキーマで生成されます。

内部スキーマには、物理データテーブルが含まれています。
データタスクスキーマには、データを使用するために使用できるビューが含まれています。

スキーマが複数のデータタスクに関連付けられている場合、各データタスクはテーブルとビューに一意のプレフィックスを使用する必要があります。データタスク設定でプレフィックスを設定できます。

内部スキーマのみ、名前の競合がないかチェックされます。他のスキーマの場合は、テーブル名に名前の競合がないことを確認する必要があります。ベストプラクティスは、内部スキーマをデータタスクスキーマと同じ名前にし、_internal を追加することです。こうすることで、すべてのスキーマとプレフィックスの組み合わせが効果的に一意になります。

Qlik Talend Data Integration によって作成されたスキーマは、タスクまたはプロジェクトを削除しても削除されません。

すべてのテーブルとビューは Qlik Talend Data Integration によって管理されます。他のツールを使用してデータを変更しないでください。

テーブル

次のテーブルは内部スキーマで作成されます。

内部スキーマ内のテーブルは予告なく変更される場合があります。可能な場合は、主にビューを使用してデータを消費する必要があります。

現在のテーブル (ODS)

このテーブルには、最新の適用間隔中の変更で更新されたデータソースのレプリカが含まれています。
先行テーブル (HDS)

このテーブルには、タイプ 2 の履歴データが含まれています。データタスク設定で履歴が有効になっている場合にのみ生成されます。

ソーステーブルレコードが更新されると、そのたびに新しいレコードが前のテーブルに追加されます。履歴レコードは、以前の現在のレコードのコピーであり、更新された内容と有効な時期も含まれます。

履歴ビューまたは履歴ライブビューを使用して、履歴データを表示します。詳しくは「履歴ビュー」と「履歴ライブビュー」を参照してください。
変更テーブル

このテーブルには、タスク開始時点から対応するソーステーブルに対して行われたすべての変更が格納され、削除されることはありません。これは、ランディングモードが [フルロードおよび CDC] の場合にのみ生成されます。

ヒントメモシステムで大量の変更が処理される場合は、変更テーブルから適用済みの変更を定期的に削除することを検討してください。そうすることでリソースの消費が削減され、パフォーマンスが向上します。

以前に削除されたレコードを再度挿入する場合、レコードの主キー値が同じであれば hdr__operation の値は U - updated となります。

hdr__ で始まる列名は、Qlik Talend Data Integrationのヘッダー列で使用するために予約されています。詳細については、「あいまいな列名」を参照してください。

現在のテーブル

名前: <INTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_current

次のヘッダー列がテーブル構造に追加されます。

現在のテーブルヘッダー項目

フィールド	タイプ	説明
hdr__key_hash	varbinary(20)	すべてのレコードのプライマリキーのハッシュ。ハッシュ形式は SHA1 です。列はバックスペース文字で区切られます。この列は、データマートデータタスクでは生成されません。
hdr__key_id	int64	レコードごとに増加するシーケンス。この列は、データマートデータタスクでのみ生成されます。
hdr__from_timestamp	タイムスタンプ	UTC のタイムスタンプフルロードから取得したデータの場合、フルロード開始時間になります。変更テーブルを介して行われる変更の場合、それはレコードのタイムスタンプ項目になります。
hdr__operation	string(1)	このレコードの最新の操作。 D - 変更テーブルから削除されました。 U - 変更テーブルから更新済み。 I - 変更テーブルから挿入済み L - フルロードタスクによって挿入済み。 d - 比較適用から削除されました。 u - 比較適用から更新されました。 i - 比較適用から挿入されました。
hdr__inserted_timestamp	タイムスタンプ	キーが初めて追加されたときの UTC 日付と時刻。フルロード使用時は、フルロードの開始時刻。
hdr__modified_timestamp	タイムスタンプ	最後の更新が適用されたときの UTC 日付と時刻。

先行テーブル

次のヘッダー項目が追加されます。

名前: <INTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_prior

先行テーブルヘッダー項目

項目	タイプ	説明
hdr__key_hash	varbinary(20)	すべてのレコードのプライマリキーのハッシュ。この列は、データマートデータタスクでは生成されません。
hdr__key_id	int64	レコードごとに増加するシーケンス。この列は、データマートデータタスクでのみ生成されます。
hdr__from_timestamp	タイムスタンプ	UTC のタイムスタンプ
hdr__to_timestamp	タイムスタンプ	UTC のタイムスタンプ
hdr__operation	string(1)	このレコードの最新の操作。 D - 変更テーブルから削除されました。 U - 変更テーブルから更新済み。 I - 変更テーブルから挿入済み L - 初期ロードによって挿入されました。 d - 比較適用から削除されました。 u - 比較適用から更新されました。 i - 比較適用から挿入されました。
hdr__was_current_from_timestamp	timestamp	最初のレコードの UTC の日付と時刻が最新でした。
hdr__was_current_to_timestamp	timestamp	最後のレコードの UTC の日付と時刻が最新でした。

テーブルを変更

名前: <INTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_ct

次のヘッダー項目がテーブル構造に追加されます。

変更テーブルヘッダー項目

フィールド	タイプ	説明
hdr__change_identifier	varchar(50)	変更識別子は、次の 2 つの部分からなる文字列です。バッチ実行開始の日付と時刻、1970 年 1 月 1 日からのミリ秒数 (10 桁の文字列) レプリケーションゲートウェイからの変更シーケンス (35 文字)
hdr__operation	varchar(1)	このレコードの最新の操作。 D - 変更テーブルから削除されました。 U - 変更テーブルから更新済み。 I - 変更テーブルから挿入済み d - 比較適用から削除されました。 u - 比較適用から更新されました。 i - 比較適用から挿入されました。
hdr__timestamp	タイムスタンプ	UTC のタイムスタンプ
hdr__key_hash	binary(20)	すべてのレコードのプライマリキーのハッシュ。この列は、データマートデータタスクでは生成されません。
hdr__key_id	int64	レコードごとに増加するシーケンス。この列は、データマートデータタスクでのみ生成されます。

ビュー

次のビューは、データタスクターゲットスキーマで作成されます。どのビューが作成されるかは、ライブビューと履歴を有効にしているかどうか、および変更処理を使用しているかどうかによって異なります。

標準ビュー
ライブビュー
変更ビュー
履歴ビュー
履歴ライブビュー

hdr__ で始まるすべてのヘッダー列名は予約されています。ストレージタスクでビューを使用する場合、ストレージタスクは同じヘッダー列を持つビューを生成するため、名前の競合を避けるために、ストレージタスクで使用されたヘッダー列の名前を変更する必要があります。

標準ビュー

名前付け: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>

テーブル構造にヘッダー列は追加されません。

ライブビュー

ライブビューには、テーブルを変更テーブルからの変更とマージする選択した各ソーステーブルのビューが表示されます。これにより、次の適用サイクルを待たずに、クエリにデータのライブビューが提供されます。変更テーブルビューからマージされた変更は、テーブル間でトランザクションの一貫性がありません。

ライブビューは、データタスクの設定でライブビューを有効にした場合にのみ作成されます。

名前付け: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Suffix for live views>

テーブルヘッダー項目

フィールド	タイプ	説明
hdr__key_hash	varbinary(20)	すべてのレコードのプライマリキーのハッシュ。ハッシュ形式は SHA1 です。列はバックスペース文字で区切られます。この列は、データマートデータタスクでは生成されません。
hdr__key_id	int64	レコードごとに増加するシーケンス。この列は、データマートデータタスクでのみ生成されます。
hdr__from_timestamp	タイムスタンプ	UTC のタイムスタンプフルロードから取得したデータの場合、フルロード開始時間になります。変更テーブルを介して行われる変更の場合、それはレコードのタイムスタンプ項目になります。
hdr__operation	string(1)	このレコードの最新の操作。 D - 変更テーブルから削除されました。 U - 変更テーブルから更新済み。 I - 変更テーブルから挿入済み L - フルロードタスクによって挿入済み。 d - 比較適用から削除されました。 u - 比較適用から更新されました。 i - 比較適用から挿入されました。
hdr__inserted_timestamp	タイムスタンプ	キーが初めて追加されたときの UTC 日付と時刻。フルロード使用時は、フルロードの開始時刻。
hdr__modified_timestamp	タイムスタンプ	最後の更新が適用されたときの UTC 日付と時刻。
hdr__store	varchar(10)	これは、レコードが存在する場所を示します。 CURRENT - レコードが現在の物理テーブルに存在する場合。 CHANGES - レコードが変更テーブルに存在する場合。

変更ビュー

これは、選択した各ソーステーブルのランディングスキーマの変更テーブルのビューです。

名前付け: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_changes

次のヘッダー項目がテーブル構造に追加されます。

変更ビューヘッダー項目

フィールド	タイプ	説明
hdr__change_identifier	string(50)	変更識別子は、次の 2 つの部分からなる文字列です。バッチ実行開始の日付と時刻、1970 年 1 月 1 日からのミリ秒数 (10 桁の文字列) レプリケーションゲートウェイからの変更シーケンス (35 文字)
hdr__from_timestamp	タイムスタンプ	UTC のタイムスタンプフルロードから取得したデータの場合、フルロード開始時間になります。変更テーブルを介して行われる変更の場合、それはレコードのタイムスタンプ項目になります。
hdr__to_timestamp	タイムスタンプ	UTC のタイムスタンプフルロードから取得したデータの場合、フルロード開始時間になります。変更テーブルを介して行われる変更の場合、それはレコードのタイムスタンプ項目になります。
hdr__operation	string(1)	このレコードの最新の操作。 D - 変更テーブルから削除されました。 U - 変更テーブルから更新済み。 I - 変更テーブルから挿入済み L - フルロードタスクによって挿入済み。 d - 比較適用から削除されました。 u - 比較適用から更新されました。 i - 比較適用から挿入されました。
hdr__timestamp	タイムスタンプ	UTC のタイムスタンプ
hdr__key_hash	binary(20)	すべてのレコードのプライマリキーのハッシュ。この列は、データマートデータタスクでは生成されません。
hdr__key_id	int64	レコードごとに増加するシーケンス。この列は、データマートデータタスクでのみ生成されます。

履歴ビュー

データタスク設定で履歴が有効になっている場合、選択した各ソーステーブルのデータアセットスキーマに履歴ビューが生成されます。次のヘッダー項目が追加されます。

名前付け: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Suffix for history views>

履歴ビューヘッダー項目

フィールド	タイプ	説明
hdr__key_hash	binary(20)	すべてのレコードのプライマリキーのハッシュ。この列は、データマートデータタスクでは生成されません。
hdr__key_id	int64	レコードごとに増加するシーケンス。この列は、データマートデータタスクでのみ生成されます。
hdr__from_timestamp	タイムスタンプ	UTC のタイムスタンプフルロードから取得したデータの場合、フルロード開始時間になります。変更テーブルを介して行われる変更の場合、それはレコードのタイムスタンプ項目になります。
hdr__to_timestamp	タイムスタンプ	UTC のタイムスタンプフルロードから取得したデータの場合、フルロード開始時間になります。変更テーブルを介して行われる変更の場合、それはレコードのタイムスタンプ項目になります。
hdr__was_current_from_timestamp	timestamp	最初のレコードの UTC の日付と時刻が最新でした。
hdr__was_current_to_timestamp	timestamp	最後のレコードの UTC の日付と時刻が最新でした。
hdr__store	varchar(7)	これは、レコードが存在する場所を示します。 CURRENT - レコードが現在の物理テーブルに存在する場合。 PRIORS - 履歴データを含む事前テーブルにレコードが存在する場合。
hdr__operation	string(1)	このレコードの最新の操作。 D - 変更テーブルから削除されました。 U - 変更テーブルから更新済み。 I - 変更テーブルから挿入済み L - フルロードタスクによって挿入済み。 d - 比較適用から削除されました。 u - 比較適用から更新されました。 i - 比較適用から挿入されました。
hdr__deleted	bit	hdr__operation が D または d であるかどうかに基づいて、レコードが論理的に削除されているかどうかを示します。

履歴ライブビュー

履歴ライブビューは、変更テーブルからの変更とマージされた選択されたソーステーブルごとに、選択されたソーステーブルごとにデータアセットスキーマで生成されます。次のヘッダー項目が追加されます。

名前付け: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Suffix for live history views>

ライブ履歴ビューヘッダー項目

フィールド	タイプ	説明
hdr__key_hash	binary(20)	すべてのレコードのプライマリキーのハッシュ。この列は、データマートデータタスクでは生成されません。
hdr__key_id	int64	レコードごとに増加するシーケンス。この列は、データマートデータタスクでのみ生成されます。
hdr__store	varchar(10)	これは、レコードが存在する場所を示します。 CURRENT - レコードが現在の物理テーブルに存在する場合。 PRIORS - 履歴データを含む事前テーブルにレコードが存在する場合。 CHANGES - レコードが変更テーブルに存在する場合。
hdr__operation	string(1)	このレコードの最新の操作。 D - 変更テーブルから削除されました。 U - 変更テーブルから更新済み。 I - 変更テーブルから挿入済み L - フルロードタスクによって挿入済み。 d - 比較適用から削除されました。 u - 比較適用から更新されました。 i - 比較適用から挿入されました。
hdr__deleted	bit	hdr__operation が D または d であるかどうかに基づいて、レコードが論理的に削除されているかどうかを示します。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください