データ統合プロジェクトを設計する
Qlik Talend Data Integration は、データ パイプラインを作成して、データ アーキテクチャと分析要件をサポートするさまざまなデータ統合タスクを実行する機能を提供します。
データ タスクを使用して、プロジェクト内にデータ統合フローを作成します。プロジェクトは、すべての出力のターゲットとして使用されるデータ プラットフォームに関連付けられています。プロジェクトはデータ スペースに保存されます。ソースとターゲットへの接続も作成する必要があります。
スペースの作成
Data Integration のスペースでの作業
プロジェクトの作成と保存に使用するデータ スペースを作成します。スペース内では、コネクタを使用して新しい接続を作成し、Data Movement gateway へのアクセスを管理することもできます。
ソースとターゲットへの接続の作成
データソースへの接続の設定
データ ソースへの接続を作成します。
ターゲットへの接続の設定
ターゲット プラットフォームへの接続を作成します。
Qlik Data Gateway - Data Movement
Qlik Data Gateway - Data Movement を設定すると、エンタープライズ データ ソースおよび SaaS アプリケーションからサポートされているターゲットにデータを安全に移動できます。
プロジェクトの作成
プロジェクトを作成するときは、ユース ケースを選択する必要があります。
データ パイプライン プロジェクトの作成
データ パイプライン プロジェクトは、サポートされている多数のソースからデータ プラットフォームへのデータの取り込みをサポートし、ELT (プッシュダウン) 変換を使用してデータを変換し、データ レイクハウスおよびデータ ウェアハウス アーキテクチャをサポートします。パイプラインはログベースの CDC と増分データ ソースをサポートしますが、主要なデータ ウェアハウス プラットフォームへのデータ取り込みのための一連のオプションを提供します。
次の場合にデータ パイプライン プロジェクトを使用します。
-
取り込みプロセスでタイプ 1 およびタイプ 2 のデータ構造をサポートします。
-
分析ワークロードに適した出力またはスター スキーマになるようにデータを変換および再形成します。
-
Iceberg をベースにしたレイクハウスを作成します。
-
組織または機能の境界を越えて、プロジェクト全体で管理される複雑なパイプラインを作成します。
レプリケーション プロジェクトの作成
レプリケーション プロジェクトは、多数のサポートされているソースからデータ レイクまたはサポートされている任意のターゲット プラットフォームへの直接レプリケーションをサポートします。データはターゲット構造に直接適用されますが、データの複雑な変換や再形成はサポートされていません。レプリケーション パイプラインは、レプリケーション シナリオのより広範なターゲット テクノロジーをサポートします。
次のような場合にレプリケーション プロジェクトを使用します。
-
データをターゲットにレプリケートし、そのデータに対して複雑な変換を実行する必要はありません。
-
データ パイプラインでサポートされていないターゲットにデータをレプリケートします。
パイプライン プロジェクトのバージョン管理
バージョン管理によるプロジェクトの管理
バージョン管理を使用して、データプロジェクトの開発を管理し、変更点を追跡します。