Качество данных для наборов данных на основе подключения

Последнее обновление: 2026-11-10

Чтобы использовать результаты исследования семантических типов и индикаторы качества данных для наборов данных на основе подключения, необходимо установить важное необходимое условие для подключений данных в контексте продуктов данных.

Поддерживаемые файлы, подключения и базы данных

Поддерживаются следующие типы файлов:

• Файлы Excel: XLS/XLSX
• Текстовые файлы с разделителями: CSV/TXT
• Файлы JSON: JSON
• Файлы XML: XML
• Qlik файлы данных: QVD (QlikView Data)/QVX (QlikView Exchange)
• Файлы Parquet: PARQUET
• Файлы KML: KML (географические данные)

При добавлении набора данных из облачного хранилища размер файла не может превышать 1 ГБ. Этот лимит облачного хранилища действует отдельно от описанных ниже лимитов на вычисление качества данных.

На данный момент поддерживаются следующие типы файлов для расчета качества: CSV, TXT, Parquet, QVD, XLS и XLSX со следующими ограничениями:

• CSV/TXT до 1 ГБ
• Parquet до 1 ГБ
• QVD до 100 ГБ
• XLS/XLSX до 100 МБ

Для файлов Parquet контроль качества данных поддерживается только для плоских схем. Вложенные поля (LIST, MAP, STRUCT) не поддерживаются.

Качество данных не поддерживается для файловых наборов данных, превышающих эти ограничения. Если файл Excel содержит несколько листов, то расчет качества осуществляется только по первому листу.

• Определение качества данных поддерживается как в режиме подтягивания, так и в режиме отталкивания для наборов данных Snowflake и Databricks.

• Определение качества данных поддерживается в режиме подтягивания для наборов данных, основанных на следующих подключениях:

  • Amazon Athena

  • Amazon Redshift

  • Amazon S3 V2

  • Apache Hive

  • Apache Финикс

  • Apache Spark

  • База данных Azure SQL

  • Azure Storage

  • Azure Synapse Analytics

  • Cassandra

  • Cloudera Impala

  • Couchbase

  • DynamoDB

  • Dropbox

  • Google BigQuery

  • Google Cloud Storage
  • Google Диск

  • Marketo

  • Microsoft SQL Server

  • MongoDB

  • MySQL Enterprise Edition

  • Office 365 Sharepoint
  • OneDrive

  • Oracle

  • PostgreSQL

  • Presto

  • SAP HANA

  • SFTP

  • Snowflake

Создание наборов данных из таблицы

Когда требуется создать набор данных, выберите базу данных из источника данных, а затем выберите таблицы в этой базе данных. Для каждой выбранной таблицы создается набор данных.

1. В Каталоге нажмите Создать новый > Набор данных.
2. Выберите подключение и нажмите кнопку Далее.
3. Выберите базу данных и схему из раскрывающегося списка.
4. Выберите таблицы и нажмите Далее.
5. Выберите пространство и нажмите Создать наборы данных. Вы будете перенаправлены в Каталог и увидите новые наборы данных в списке.

Теперь вы можете рассчитать качество данных и добавить наборы данных в продукты данных. Дополнительные сведения см. в разделе Настройка вычисления качества данных.

Создание наборов данных из файла

1. В Каталоге нажмите Создать новый > Набор данных.
2. Выберите подключение и нажмите кнопку Далее.
3. Выберите файл и нажмите Далее.
4. Выберите пространство и нажмите Создать наборы данных. Вы будете перенаправлены в Каталог и увидите новые наборы данных в списке.

Теперь вы можете рассчитать качество данных и добавить наборы данных в продукты данных. Дополнительные сведения см. в разделе Настройка вычисления качества данных.

Создание баз данных на основе подключения

Вы можете создавать наборы данных на основе подключений из Каталога, но также можете использовать проекты конвейеров.

Создание наборов данных из проекта конвейера позволяет выполнить интеграцию всех данных в проекте с помощью задач данных. Для получения дополнительных сведений см. Создание проекта конвейера данных.

Создание наборов данных из Каталога

Если вам не нужно использовать проект конвейера, вы можете создать наборы данных для вычисления качества данных и использовать наборы данных через продукты данных.

1. В Qlik Talend Data Integration > Каталог нажмите Создать новый > Набор данных.
2. Выберите подключение и нажмите кнопку Далее.
3. Выберите наборы данных и нажмите Далее.

   Если набор данных отсутствует в списке, это означает, что его формат не входит в число поддерживаемых:

   • Файлы Excel:.xls, .xlsx
   • Текстовые файлы с разделителями:.csv, .txt
   • Файлы Excel:.xls, .xlsx
   • Файлы JSON:.json
   • XML-файлы:.xml
   • Qlik файлы данных:.qvd (QlikView Data), .qvx (QlikView Exchange)
   • Файлы Parquet:.parquet
   • Файлы KML:.kml (Geographic data)

   Для расчета качества к файловым наборам данных применяются ограничения по размеру: CSV, TXT и Parquet — до 1 ГБ, QVD — до 100 ГБ, а XLS/XLSX — до 100 МБ.

4. Выберите пространство и нажмите Создать наборы данных. Вы будете перенаправлены в Каталог и увидите новые наборы данных в списке.

Теперь вы можете рассчитать качество данных и добавить наборы данных в продукты данных. Дополнительные сведения см. в разделе Настройка вычисления качества данных.

Создание наборов данных из проекта конвейера

1. Выберите Qlik Talend Data Integration > Подключения и нажмите Создать подключение.

2. Настройте доступ к базе данных, используя учетные данные пользователя с достаточными разрешениями и доступом к таблицам, которые требуется импортировать.

3. В Аналитика Qlik Cloud щелкните Создать, а затем Подключение к данным.

4. Настройте доступ к той же базе данных, что раньше, используя учетные данные того же пользователя (в идеале) или пользователя с разрешением минимум на чтение (READ) таблиц.

5. (Только для Snowflake) В поле Роль необходимо ввести роль, которая соответствует существующей роли, созданной в базе данных Snowflake и предоставляющей следующие привилегии для этих объектов.

   • USAGE для WAREHOUSE

   • USAGE для DATABASE

   • USAGE для SCHEMA

   • CREATE TABLE для SCHEMA

   • CREATE FUNCTION для SCHEMA

   • CREATE VIEW для SCHEMA

   • SELECT для TABLE

6. (только для Databricks) В Databricks необходимо определить следующие привилегии для базы данных:

   • Создать таблицу

   • СОЗДАТЬ ТОМ

   • MODIFY

   • ОБЪЕМ ЧТЕНИЯ

   • SELECT

   • ИСПОЛЬЗОВАТЬ СХЕМУ

   • ОБЪЕМ ЗАПИСИ

7. Вернувшись на главную страницу Qlik Talend Data Integration, нажмите Создать новый, а затем — Проект конвейера.

8. Используйте подключение, созданное при выполнении шага 2, в качестве источника для проекта и приступайте к созданию конвейера. Дополнительные сведения см. в Создание проектов конвейеров данных и управление ими."

9. В любой точке конвейера выберите задачу данных, откройте Параметры, перейдите на вкладку Каталог, где можно установить флажок Опубликовать в каталоге.

   Это значит, что данная версия набора данных будет опубликована в Каталоге, когда проект конвейера будет подготовлен и запущен. Этот флажок также можно установить на уровне проекта.

10. Запустите проект данных.

После запуска проекта конвейера новый набор данных добавляется в Каталог, и можно будет просматривать индикаторы качества и дополнительные сведения о его содержимом. Эта конфигурация также позволяет использовать наборы данных в качестве источника для аналитических приложений.

Можно добавить любое необходимое количество наборов данных перед созданием продукта данных. Поскольку доступ к Каталогу можно получить как из хаба Qlik Talend Data Integration, так и из хаба служб Аналитика Qlik Cloud, вы можете открывать свои наборы данных в предпочитаемом Местоположении, и в зависимости от контекста будет использоваться нужное подключение.

Вычисление качества в режиме подтягивания и отталкивания

При нажатии кнопки Вычислить или Обновить на вкладке Обзор набора данных запускается расчет качества для образца из 1000 строк.

По умолчанию эта операция происходит в режиме подтягивания. Для наборов данных Snowflake и Databricks эта операция может выполняться как в режиме подтягивания (по умолчанию), так и в режиме отталкивания на стороне базы данных.

После вычисления качества данных извлекается и отображается предварительный просмотр до 1 000 строк (по умолчанию) с актуальными семантическими типами и статистикой по действительности и полноте данных. Затем этот образец сохраняется в MongoDB. Чтобы настроить размер предварительного просмотра набора данных (100 или 1 000 строк), администраторы клиента должны перейти на страницу Параметры в центре активности «Администрирование»; для получения дополнительных сведений см. Настройка размера предварительного просмотра набора данных.

Предварительные требования для качества данных в режиме pushdown в Databricks

Для вычисления качества данных в режиме pushdown в Databricks Qlik необходимо синхронизировать определенные справочные данные о качестве, такие как семантические типы, с вашим экземпляром Databricks. В нем также используются некоторые расширенные возможности Databricks.

Чтобы эта функциональность, характеристики работали должным образом, на вашем экземпляре Databricks должны быть выполнены следующие предварительные требования:

• Unity Catalog должен быть включен.

• Пользователи, связанные с подключением Databricks, должны иметь разрешения на создание таблицы, создание схемы, создание тома и запись в том.

  Qlik создаст схему с именем qlik_internal в базе данных, указанной в вашем подключении. Эта схема не будет автоматически удалена Qlik. Вам потребуется удалить его вручную, если вы перестанете использовать Облачная инфраструктура SaaS.

• Сопоставления должны быть включены.

Что касается ограничений, обратите внимание, что распознавание дат в строковых столбцах ограничено форматом ISO-8601.