# Data Integration の紹介

Qlik Talend Data Integration により、Qlik Cloud または Snowflake、 Google Cloud BigQuery、、Azure Synapse Analytics などのクラウドデータウェアハウスに、すぐに利用できるデータを配信できます。データ ソースはオンプレミスにすることもクラウドにすることもできます。CDC (データキャプチャの変更) やスケジュール再読み込みなどのバッチ技術により、人手を介さずにデータを最新に保つことができます。データ パイプラインを作成し、目的に応じた変換を実行して、データ マートを作成できます。

Qlik Talend Data Integration ホームへは、ランチャーメニュー (the Launcher メニュー アイコン icon) から [Data Integration] を選択してアクセスできます。

情報メモ組み込み型アナリティクス ユーザー ロールのユーザーは Qlik Talend Data Integration にアクセスできません。

Qlik Talend Data Integration のアーキテクチャの詳細については、「[クラウド データ ウェアハウスのデータセット アーキテクチャ](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Storage/dataset-tables.htm)」を参照してください。

## サブスクリプション オプション

Qlik Talend Cloud のサブスクリプションは、[データ移動](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/subscription-value-meters.htm#Data2)[の量を主な計測基準とする](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/subscription-options-qlik-cloud.htm)容量モデルに基づきます。

Qlik Talend Cloud には、Starter、Standard、Premium、Enterprise の 4 つのティアのサブスクリプション オプションがあります。上位のエディションでは、より高度なデータ ソースと変換が提供されます。これには、Qlik Cloud および Talend Cloud でホストされている機能が含まれます。すべてのサブスクリプションには [Qlik Cloud 分析スタンダード](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/subscription-options-analytics.htm#_bm2) が含まれます。

サブスクリプション オプションの詳細については、「[Qlik Talend Cloud サブスクリプション オプション](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/subscription-options-QTC.htm)」を参照してください

## データスペース

データ スペースは、プロジェクトの作成と保存に使用される Qlik Cloud テナントの管理領域です。スペース内では、コネクタを使用して新しい接続を作成し、Data Movement gateway へのアクセスを管理することもできます。すべてのデータ アセットは、それらが属するプロジェクトのスペースに作成されます。

詳細については、「[Data Integration のスペースでの作業](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataSpaces/working-spaces.htm)」を参照してください。

## プロジェクト

プロジェクトは、データ タスクを使用してデータ統合フローを作成する場所です。プロジェクトは、すべての出力のターゲットとして使用されるデータ プラットフォームに関連付けられています。次のいずれかのユース ケースでプロジェクトを作成できます。

* データ パイプライン

  シンプルな線形パイプライン、または複数のデータ ソースを使用して多数の出力を生成する複雑なパイプラインを作成します。

  [データ パイプライン プロジェクトの作成と管理](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-projects.htm)

* Qlik Open Lakehouse

  シンプルな線形パイプライン、または複数のデータ ソースを使用して Apache Iceberg にデータを格納する複雑なパイプラインを作成します。

  [Qlik Open Lakehouse プロジェクトを作成](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/creating-project.htm)

* レプリケーション

  サポートされているデータ ソースから、サポートされている任意のターゲットにデータをレプリケートするか、データをデータ レイクにランディングします。

  [レプリケーション プロジェクトの作成](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/data-replication-task.htm)

情報メモスペース間でプロジェクトを移動することはできません。

## データ タスク

データ タスクとは、プロジェクトにおける主要な作業単位のことです。プロジェクトでは、次のタイプのデータ タスクを作成できます。新しいデータ タスクを作成するには、上部のバーにある [作成] をクリックし、適切なタスクをクリックします。

### データ パイプライン プロジェクトのデータ タスク

ヒント メモ さらに、オンボーディング データの 1 つのタスクでランディングとストレージを実行することもできます。これにより、 [ランディング] タスクと [ストレージ] タスクが作成されます。

#### データウェアハウス プロジェクトにおけるデータタスク

* ランディング

  データ ソースからランディング エリアにデータをコピーします。データ ソースはオンプレミスにすることもクラウドにすることもできます。ランディング エリアは、クラウド ターゲットまたは Amazon S3 データ バケット (QVD データセットを作成する場合のみ) にできます。

  CDC を使用するか、定期的にリロードするようにスケジュールされたフル ロードを実行することで、手動で介入することなくデータを最新の状態に保つことができます。

  [データ ソースからのランディング データ](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Landing-data-data-sources.htm)

* レイクのランディング

  データをレイクハウスにランディングし、そこから Snowflake が管理するクラウド ファイル ストレージにデータをランディングできます。Iceberg テーブルを Snowflake Open Catalog と同期することで、Apache Spark などの他のツールとの相互運用が可能になります。

  [レイクハウスへのデータのランディング](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Lake-landing.htm)。

* 登録済みデータ

  データ プラットフォームに既存のデータを登録するこれにより、Qlik Talend Data Integration 以外のツール (Qlik Replicate など) を使ってオンボーディングされたデータを使用できます。

  [データ プラットフォームに既存のデータを登録する](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Onboarding/Registering-data.htm)

* ストレージ

  ランディング データ タスクによってコピーされたデータから、クラウド データ ウェアハウスまたは Qlik Cloud ですぐに利用できるデータセットを作成します。データセットは、手動で介入することなくランディング データで最新の状態に保たれます。

  [データセットの保管](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Storage/generating-datasets.htm)

* 変換

  データ パイプラインの一部として、ルールとカスタム SQL に基づいた再利用可能なデータ変換を作成します。行レベルの変換を実行し、テーブルとして具体化されるか、その場で変換を実行するビューとして作成されるデータセットを作成できます。

  [データの変換](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Transformations.htm)

* データ マート

  データ マートを作成して、ストレージ データ タスクまたは変換データ タスクを活用します。ビジネス ニーズに応じて、任意の数のデータ マートを作成できます。理想的には、データ マートには、組織内の特定のセクションまたはユニットで分析するために収集された要約データのリポジトリが含まれている必要があります。

  [データ マートの作成と管理](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataMarts/DataMarts.htm)

* ナレッジ マート

  ナレッジ マートを作成すると、構造化データをベクター データベースに埋め込んで保存できます。この操作により、拡張コンテキストをセマンティック検索機能で取得し、検索拡張生成 (RAG) アプリケーションのコンテキストとして使用できるようになります。

  [ナレッジ マートの作成](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/KnowledgeMart/Creating-knowledge-marts.htm)

#### Qlik Open Lakehouse プロジェクトのデータ タスク

* レイクのランディング

  データ レイクにデータをランディングします。

  [Qlik Open Lakehouse へのランディング データ](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/landing-data.htm)

* ストレージ

  データを Iceberg 形式で保存し、効率的な保存と高性能なクエリを実現します。自動圧縮とファイル クリーンアップにより、ストレージを最適化し、コストを削減します。

  [データセットの保管](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/storing-data.htm)

* ミラーリング

  データを複製せずに、クラウド データ ウェアハウスにテーブルをミラーリングします。ユーザーは、データ ウェアハウスのクエリ エンジンから直接データをクエリできます。パイプラインにデータのミラーリング タスクを追加するか、Qlik Open Lakehouse プロジェクトをデータ変換のソースとして使用します。

  [クラウド データ ウェアハウスへのデータのミラーリング](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/mirroring-data.htm)

### レプリケーション プロジェクトのデータ タスク

* レプリケーション

  サポートされているデータ ソースから、サポートされている任意のターゲットにデータをレプリケートします。

  [レプリケーション プロジェクトの作成](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/data-replication-task.htm)

* レイクのランディング

  データ レイクにデータをランディングします。

  [Standard、Premium、または Enterprise サブスクリプションを使用して、データ レイクにデータをランディングします](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes.htm)

## データ タスクの監視

モニター ビューを使用して、データ タスクのステータスと進行状況を監視できます。モニター ビューを使用すると、テナント内のすべてのデータ タスクのステータス、またはフィルターに基づくデータ タスクのサブセットを表示できます。複数のビューを作成して、データ パイプラインのさまざまな側面を監視できます。詳細については、「[データ タスクの監視と操作](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Monitoring-your-data-tasks.htm)」を参照してください。

## データ製品

データ プロジェクトまたは手動アップロードから登録され、カタログに追加されたデータセットは、データ製品の形式でグループ化およびパッケージ化できます。たとえば、データセットをビジネス ドメイン別にグループ化し、分析ユーザーがアプリケーションで使用できるようにデータ マーケットプレイスで公開できます。詳細については、「[データ製品の使用](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataProducts/Data-products.htm)」を参照してください。

## データ スチュワードシップ

データ スチュワードシップを使用することで、データのキュレートと検証ができます。既存のセマンティック タイプを使用することで、データが一貫した形式になっていることを確認できます。必要なスチュワードシップ タスクの主要な作業となるスプリントを作成します。スプリントにはデータとデータ スキーマに関する情報が含まれており、ユーザー ロールを定義します。スプリントでは、解決済みのすべてのレコードは Qlik Talend Cloud ではなく、自分のクラウド データ ウェアハウスに保存されます。

[データ スチュワードシップによるデータの検証と修正](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataStewardship/Governing-data-stewardship.htm)

## 接続

接続は、データ タスクがデータ ソース、外部ストレージ、ターゲット プラットフォームにアクセスし、データ配信とプッシュダウン変換を実行するために使用されます。

### 接続を管理する

左側にある [接続] をクリックすると、すべての接続が表示されます。

* 自分が所有する接続を編集できます。

  情報メモ自分が所有者であるか、「管理可能」ロールを持っているデータ スペース内の、すべての接続を編集することもできます。

  [...] をクリックしてから、[編集] をクリックします。

* 接続をテストできます。

  [...] をクリックしてから、[接続をテスト] をクリックします。

* 接続を削除できます。

  [...] をクリックしてから、[削除] をクリックします。

### 接続の作成

接続を作成するにはいくつかの方法があります。

* 接続を選択するデータ タスク セットアップ ウィザードで、 [新規作成] をクリックします。

* [新規作成] をクリックし、 [接続] ビューで [接続] を選択します。

次でコネクタをフィルタリングできます。

* カテゴリ

  データ ウェアハウス、クラウド ストレージ、データベース、アプリケーション。

* タイプ

  ソースまたはターゲット。

最近使用したコネクタから選択することもできます。

データ ソースのタイプを選択し、アドレスと認証情報を入力する必要があります。

参照先:

* [Qlik データ ゲートウェイ - データ移動](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm)。
* [スペースと接続の設定](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Settingup-spaces-connections.htm)