# パイプライン プロジェクトの設計

Qlik Talend Data Integration は、データ パイプラインを作成して、データ アーキテクチャと分析要件をサポートするさまざまなデータ統合タスクを実行する機能を提供します。

データ タスクを使用して、パイプライン プロジェクト内にデータ統合フローを作成します。プロジェクトは、すべての出力のターゲットとして使用されるデータ プラットフォームに関連付けられています。プロジェクトはデータ スペースに保存されます。ソースとターゲットへの接続も作成する必要があります。

## スペースの作成

the データ パイプライン プロジェクト icon

## Data Integration のスペースでの作業

プロジェクトの作成と保存に使用するデータ スペースを作成します。このスペースでは、コネクタを使って新しい接続を作成したり、データ移動ゲートウェイへのアクセスを管理したりすることもできます。

## ソースとターゲットへの接続の作成

the データ パイプライン プロジェクト icon

## データソースへの接続の設定

データ ソースへの接続を作成します。

the データ パイプライン プロジェクト icon

## ターゲットへの接続の設定

ターゲット プラットフォームへの接続を作成します。

the データ パイプライン プロジェクト icon

## Qlik データ ゲートウェイ - データ移動

Qlik データ ゲートウェイ - データ移動 を設定すると、エンタープライズ データ ソースおよび SaaS アプリケーションからサポートされているターゲットにデータを安全に移動できます。

## パイプライン プロジェクトの作成

パイプライン プロジェクトを作成するときは、ユース ケースを選択する必要があります。

![データ パイプライン プロジェクト](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/qdi_pipeline.svg)

### データ パイプライン プロジェクトの作成と管理

データ パイプライン プロジェクトは、サポートされている多数のソースからデータ プラットフォームへのデータの取り込みをサポートし、ELT (プッシュダウン) 変換を使用してデータを変換し、データ レイクハウスおよびデータ ウェアハウス アーキテクチャをサポートします。パイプラインはログベースの CDC と増分データ ソースをサポートしますが、主要なデータ ウェアハウス プラットフォームへのデータ取り込みのための一連のオプションを提供します。

次の場合にデータ パイプライン プロジェクトを使用します。

* 取り込みプロセスでタイプ 1 およびタイプ 2 のデータ構造をサポートします。

* 分析ワークロードに適した出力またはスター スキーマになるようにデータを変換および再形成します。

* Iceberg をベースにしたレイクハウスを作成します。

* Qlik Open Lakehouseをベースに 、クラウド データ ウェアハウスにテーブルをミラーリングします。

* 組織または機能の境界を越えて、プロジェクト全体で管理される複雑なパイプラインを作成します。

![レプリケーション プロジェクト](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/qdi_replicate.svg)

### レプリケーション プロジェクトの作成

レプリケーション プロジェクトは、多数のサポートされているソースからデータ レイクまたはサポートされている任意のターゲット プラットフォームへの直接レプリケーションをサポートします。データはターゲット構造に直接適用されますが、データの複雑な変換や再形成はサポートされていません。レプリケーション パイプラインは、レプリケーション シナリオのより広範なターゲット テクノロジーをサポートします。

次のような場合にレプリケーション プロジェクトを使用します。

* データをターゲットにレプリケートし、そのデータに対して複雑な変換を実行する必要はありません。

* データ パイプラインでサポートされていないターゲットにデータをレプリケートします。

![レプリケーション プロジェクト](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/QlikIcons/schedule.svg)

### Scheduling tasks

場合によっては、データ ソースからターゲット プラットフォームに変更を伝達するために、タスクをスケジュールする必要がある場合があります。

スケジュール設定が必要なユース ケースに関する情報、およびスケジュール設定の間隔を設定する手順については、「[Scheduling tasks](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Deploying/Scheduling-tasks.htm)」を参照してください。

## パイプライン プロジェクトのバージョン管理

![データ パイプライン プロジェクト](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/QlikIcons/governance.png)

## バージョン管理によるパイプライン プロジェクトの管理

バージョン管理を使用して、データプロジェクトの開発を管理し、変更点を追跡します。

## コードでパイプラインを定義する

![宣言型パイプラインの管理](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/QlikIcons/governance.png)

## 宣言型パイプライン

パイプラインを YAML 構成ファイルとしてエクスポートし、IDE で編集して、インポート API またはバージョン管理を使用して展開します。Git ブランチを使用して環境を管理し、パイプラインをプロモートします。