Создание наборов данных из проекта конвейера
Последнее обновление: 2026-11-03- Qlik Talend Cloud Enterprise
- Qlik Talend Cloud Premium
- Аналитика Qlik Cloud Premium
- Qlik Cloud Analytics Enterprise
- Qlik Sense Enterprise SaaS
На данный момент поддерживаются следующие типы файлов для расчета качества: CSV, TXT, Parquet, QVD, XLS и XLSX со следующими ограничениями:
- CSV/TXT до 1 ГБ
- Parquet до 1 ГБ
- QVD до 100 ГБ
- XLS/XLSX до 100 МБ
Для файлов Parquet контроль качества данных поддерживается только для плоских схем. Вложенные поля (LIST, MAP, STRUCT) не поддерживаются.
Качество данных не поддерживается для файловых наборов данных, превышающих эти ограничения. Если файл Excel содержит несколько листов, то расчет качества осуществляется только по первому листу.
-
Выберите Qlik Talend Data Integration > Подключения и нажмите Создать подключение.
-
Настройте доступ к базе данных, используя учетные данные пользователя с достаточными разрешениями и доступом к таблицам, которые требуется импортировать.
-
В Аналитика Qlik Cloud щелкните Создать, а затем Подключение к данным.
-
Настройте доступ к той же базе данных, что раньше, используя учетные данные того же пользователя (в идеале) или пользователя с разрешением минимум на чтение (READ) таблиц.
-
(Только для Snowflake) В поле Роль необходимо ввести роль, которая соответствует существующей роли, созданной в базе данных Snowflake и предоставляющей следующие привилегии для этих объектов.
-
USAGE для WAREHOUSE
-
USAGE для DATABASE
-
USAGE для SCHEMA
-
CREATE TABLE для SCHEMA
-
CREATE FUNCTION для SCHEMA
-
CREATE VIEW для SCHEMA
-
SELECT для TABLE
-
-
(только для Databricks) В Databricks необходимо определить следующие привилегии для базы данных:
-
Создать таблицу
-
СОЗДАТЬ ТОМ
-
MODIFY
-
ОБЪЕМ ЧТЕНИЯ
-
SELECT
-
ИСПОЛЬЗОВАТЬ СХЕМУ
-
ОБЪЕМ ЗАПИСИ
-
-
Вернувшись на главную страницу Qlik Talend Data Integration, нажмите Создать новый, а затем — Проект конвейера.
-
Используйте подключение, созданное при выполнении шага 2, в качестве источника для проекта и приступайте к созданию конвейера. Дополнительные сведения см. в Создание проектов конвейеров данных и управление ими."
-
В любой точке конвейера выберите задачу данных, откройте Параметры, перейдите на вкладку Каталог, где можно установить флажок Опубликовать в каталоге.
Это значит, что данная версия набора данных будет опубликована в Каталоге, когда проект конвейера будет подготовлен и запущен. Этот флажок также можно установить на уровне проекта.
-
Запустите проект данных.
После запуска проекта конвейера новый набор данных добавляется в Каталог, и можно будет просматривать индикаторы качества и дополнительные сведения о его содержимом. Эта конфигурация также позволяет использовать наборы данных в качестве источника для аналитических приложений.
Можно добавить любое необходимое количество наборов данных перед созданием продукта данных. Поскольку доступ к Каталогу можно получить как из хаба Qlik Talend Data Integration, так и из хаба служб Аналитика Qlik Cloud, вы можете открывать свои наборы данных в предпочитаемом Местоположении, и в зависимости от контекста будет использоваться нужное подключение.