# 接続ベースのデータセットのデータ品質

接続ベースのデータセットでセマンティック タイプの検出とデータ品質の読み取りを活用するには、データ製品のコンテキストでデータ接続に関する重要な前提条件を設定する必要があります。

情報メモ以下のいずれかのサブスクリプションが必要です:

* Qlik Talend Cloud Enterprise
* Qlik Talend Cloud Premium
* Qlik Cloud Analytics Premium
* Qlik Cloud Analytics Enterprise
* Qlik Sense Enterprise SaaS

## サポートされるファイル、接続、データベース

次のファイル タイプがサポートされています:

* Excel ファイル: XLS/XLSX
* 区切りテキスト ファイル: CSV/TXT
* JSON ファイル: JSON
* XML ファイル: XML
* Qlik データ ファイル: QVD (QlikView Data)/QVX (QlikView Exchange)
* Parquet ファイル: PARQUET
* KML ファイル: KML (地理的データ)

クラウド ストレージからデータセットを追加する場合、ファイルは 1 GB を超えることはできません。このクラウド ストレージの制限は、以下で説明するデータ品質計算の制限とは別のものです。

現在、品質計算でサポートされている形式は CSV、TXT、Parquet、QVD、XLS、XLSX ですが、次の制限があります。

* CSV/TXT 最大 1 GB
* Parquet 最大 1 GB
* QVD 最大 100 GB
* XLS/XLSX 最大 100 MB

Parquet ファイルの場合、データ品質はフラットなスキーマでのみサポートされます。ネストされたフィールド (LIST、MAP、STRUCT) はサポートされていません。

これらの制限を超えるファイルベースのデータセットでは、データ品質はサポートされていません。Excel ファイルに複数のシートが含まれている場合、品質の計算は最初のシートに対してのみ実行されます。

* データ品質は、Snowflake および Databricks データセットのプルアップ モードとプッシュダウン モードの両方でサポートされています。

* データ品質は、次の接続に基づくデータセットのプルアップ モードでサポートされています。

  * Amazon Athena

  * Amazon Redshift

  * Amazon S3 V2

  * Apache Hive

  * Apache Phoenix

  * Apache Spark

  * Azure SQLデータベース

  * Azure Storage

  * Azure Synapse Analytics

  * Cassandra

  * Cloudera Impala

  * Couchbase

  * DynamoDB

  * ドロップボックス

  * Google BigQuery

  * Google Cloud Storage

  * Google Drive

  * Marketo

  * Microsoft SQL Server

  * MongoDB

  * MySQL Entreprise Edition

  * Office 365 Sharepoint

  * OneDrive

  * Oracle

  * PostgreSQL

  * Presto

  * SAP Hana

  * SFTP

  * Snowflake

## テーブルからのデータセットの作成

データセットを作成するときは、データ ソースからデータベースを選択し、そのデータベース内のテーブルを選択します。選択したテーブルごとにデータセットが作成されます。

1. [カタログ] から、 [新規作成] > [データセット] をクリックします。
2. 接続を選択し、 [次へ] をクリックします。
3. ドロップダウン リストからデータベースとスキーマを選択します。
4. テーブルを選択し、 [次へ] をクリックします。
5. スペースを選択し [データセットの作成] をクリックします。[カタログ] にリダイレクトされ、リストに新しいデータセットが表示されます。

データ品質を計算し、データセットをデータ製品に追加できるようになりました。詳細については、「[データ品質計算の構成](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataProducts/Configuring-data-quality.htm)」を参照してください。

## ファイルからのデータセットの作成

1. [カタログ] から、 [新規作成] > [データセット] をクリックします。
2. 接続を選択し、 [次へ] をクリックします。
3. ファイルを選択し、 [次へ] をクリックします。
4. スペースを選択し [データセットの作成] をクリックします。[カタログ] にリダイレクトされ、リストに新しいデータセットが表示されます。

データ品質を計算し、データセットをデータ製品に追加できるようになりました。詳細については、「[データ品質計算の構成](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataProducts/Configuring-data-quality.htm)」を参照してください。

## 接続ベースのデータセットの作成

[カタログ] から接続ベースのデータセットを作成できますが、パイプライン プロジェクトを使用することもできます。

パイプライン プロジェクトからデータセットを作成することで、データ タスクを使用してプロジェクト内でデータ統合のすべてを実行できます。詳細については、「[データ パイプライン プロジェクトの作成](https://help.qlik.com/ja-JP/cloud-services/Introduction/Data-projects.htm)」を参照してください。

### カタログからデータセットを作成する

パイプライン プロジェクトを使用する必要がない場合は、データセットを作成してデータ品質を計算し、データ製品を通じてそのデータセットを使用できます。

1. Qlik Talend Data Integration > [カタログ] で、 [新規作成] > [データセット] をクリックします。

2. 接続を選択し、 [次へ] をクリックします。

3. データセットを選択し、 [次へ] をクリックします。

   データセットがリストにない場合、それはサポートされている形式のいずれにも該当しないことを意味します。

   * Excel ファイル: `.xls`、`.xlsx`
   * 区切りテキスト ファイル: `.csv`、`.txt`
   * Excel ファイル: `.xls`、`.xlsx`
   * JSON ファイル: `.json`
   * XML ファイル: `.xml`
   * Qlik データ ファイル: `.qvd (QlikView Data)`、`.qvx (QlikView Exchange)`
   * Parquet ファイル: `.parquet`
   * KML ファイル: `.kml (Geographic data)`

   品質計算では、ファイル ベースのデータセットにサイズ制限が適用されます (CSV、TXT、Parquet は最大 1 GB、QVD は最大 100 GB、XLS/XLSX は最大 100 MB)。

4. スペースを選択し [データセットの作成] をクリックします。[カタログ] にリダイレクトされ、リストに新しいデータセットが表示されます。

データ品質を計算し、データセットをデータ製品に追加できるようになりました。詳細については、「[データ品質計算の構成](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataProducts/Configuring-data-quality.htm)」を参照してください。

### パイプライン プロジェクトからデータセットを作成する

1. Qlik Talend Data Integration > [接続] で、[接続を作成] をクリックします。

2. インポートするテーブルに対して十分な権限とアクセス権を持つユーザーの資格情報を使用して、データベースへのアクセスを構成します。

3. Qlik Cloud Analytics で [作成] をクリックし、次に [データ接続] をクリックします。

4. 理想的には同じユーザーの資格情報、または少なくともテーブルに対する READ 権限を持つユーザーの資格情報を使用して、以前と同じデータベースへのアクセスを構成します。

5. (Snowflake のみ) [ロール] 項目には、Snowflake データベースで作成された既存のロールに対応し、これらのオブジェクトに対して次の権限を持つロールを入力する必要があります。

   * WAREHOUSE に USAGE

   * DATABASE に USAGE

   * SCHEMA に USAGE

   * SCHEMA に CREATE TABLE

   * SCHEMA に CREATE FUNCTION

   * SCHEMA に CREATE VIEW

   * TABLE に SELECT

6. (Databricks のみ) Databricks では、データベースに対して次の権限を定義する必要があります。

   * CREATE TABLE

   * CREATE VOLUME

   * MODIFY

   * READ VOLUME

   * SELECT

   * USE SCHEMA

   * WRITE VOLUME

7. Qlik Talend Data Integration のホームページに戻り、 [新規作成] をクリックし、 [パイプライン プロジェクト] をクリックします。

8. ステップ 2 の接続をプロジェクトのソースとして使用し、パイプラインの構築を開始します。詳細については、「[データ パイプライン プロジェクトの作成と管理](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-projects.htm)」を参照してください。

9. パイプラインの任意の時点で、データ タスクを選択し、 [設定] に移動して [カタログ] タブに移動し、 [カタログに公開する] チェック ボックスをオンにします。

   これは、パイプライン プロジェクトが準備され実行されると、このバージョンのデータセットがカタログに公開されることを意味します。このオプションをプロジェクト レベルでチェックすることもできます。

10. データ プロジェクトを実行します。

パイプライン プロジェクトを実行すると、新しいデータセットがカタログに追加され、品質インジケーターと内容の詳細にアクセスできるようになります。この構成により、データセットを分析アプリケーションのソースとして使用することも可能になります。

データ製品を構築する前に、必要な数のデータセットを追加できます。カタログは Qlik Talend Data Integration ハブと Qlik Cloud Analytics Services ハブの両方からアクセスできるため、データセットを任意の場所で開くことができ、コンテキストに応じて適切な接続が使用されます。

## プルアップ/プッシュダウンでの品質計算

データセットの [概要] にある [計算] または [更新] ボタンを使用すると、1,000 行のサンプルに対して品質計算が実行されます。

この操作は、既定ではプルアップ モードで実行されます。Snowflake および Databricks データセットの場合、この操作はデータベース側でプルアップ モード (既定) またはプッシュダウン モードの両方で実行できます。

データ品質の計算後、最大 1,000 行 (既定) のプレビューが取得され、最新のセマンティック タイプ、有効性、完全性の統計情報とともに表示されます。このサンプルは MongoDB に保存されます。データセットのプレビュー サイズ (100 行または 1,000 行) を設定するには、テナント管理者は管理アクティビティ センターの [設定] ページに移動する必要があります。詳細については、「[データセットのプレビュー サイズの設定](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/mc-dataset-preview-size.htm)」を参照してください。

情報メモ

プッシュダウン モードで計算される Databricks データセットでは、計算されたサンプル結果が要求数に満たない場合、プレビューに表示される行数が設定されたプレビュー サイズよりも少なくなることがあります。Databricks のランダム サンプリングは `TABLESAMPLE` が使用されており、おおよその行数を返します。プレビューは計算されたサンプルのサブセットであるため、サンプルで返される行数を超えることはできません。

詳細については、「[該当する Databricks のドキュメント](https://docs.databricks.com/gcp/en/sql/language-manual/sql-ref-syntax-qry-select-sampling)」を参照してください。

情報メモ500 列を超えるデータセットに対しては、データ品質を計算できません。

### Databricks のプッシュダウン モードにおけるデータ品質の前提条件

Databricks のプッシュダウン モードでデータ品質を計算するには、Qlik でセマンティック タイプなどの特定の品質参照データを Databricks インスタンスに同期する必要があります。また、Databricks の高度な機能も活用します。

この機能を正しく動作させるには、Databricks インスタンスで次の前提条件を満たしている必要があります。

* [Unity Catalog](https://www.databricks.com/product/unity-catalog) を有効にする必要があります。

* Databricks 接続に関連付けられたユーザーには、テーブルの作成、[スキーマの作成](https://docs.databricks.com/aws/en/schemas/create-schema)、[ボリュームの作成](https://docs.databricks.com/aws/en/volumes/utility-commands)、ボリュームの書き込みを実行する権限が必要です。

  Qlik は、接続で指定されたデータベースに qlik \_internal という名前のスキーマを作成します。このスキーマは Qlik によって自動的に削除されることはありません。SaaS クラウド インフラストラクチャ の使用を中止する場合は、手動で削除する必要があります。

* [[照合順序](https://www.databricks.com/blog/introducing-collations-databricks)] を有効にする必要があります。

制限事項として、文字列での日付認識は ISO-8601形式に限定されることに注意してください。