Качество данных для загруженных файлов

Последнее обновление: 2026-11-10

Чтобы использовать функции обнаружения семантических типов и определения качества данных в наборах данных на основе файлов, необходимо загрузить файлы в Каталог.

Поддерживаемые файлы для контроля качества данных

На данный момент поддерживаются следующие типы файлов для расчета качества: CSV, TXT, Parquet, QVD, XLS и XLSX со следующими ограничениями:

• CSV/TXT до 1 ГБ
• Parquet до 1 ГБ
• QVD до 100 ГБ
• XLS/XLSX до 100 МБ

Для файлов Parquet контроль качества данных поддерживается только для плоских схем. Вложенные поля (LIST, MAP, STRUCT) не поддерживаются.

Качество данных не поддерживается для файловых наборов данных, превышающих эти ограничения. Если файл Excel содержит несколько листов, то расчет качества осуществляется только по первому листу.

Загрузка ваших файлов

Чтобы создавать наборы данных из файла, а затем иметь доступ к их схеме и качеству в обзоре набора данных и обзоре продукта данных, необходимо загрузить их в Qlik Talend Data Integration.

1. В Каталоге нажмите Создать новый, а затем — Набор данных.

2. Щелкните Загрузить файл данных.

3. Перейдите к файлам, которые требуется загрузить, выберите пространство, в которое их нужно загрузить, и нажмите кнопку Загрузить.

   Если вы загружаете только один файл, вы можете нажать Загрузить и проанализировать, чтобы создать на основе этого файла как набор данных, так и аналитическое приложение.

Новый набор данных добавляется в Каталог, после чего можно будет просматривать индикаторы качества и дополнительные сведения о его содержимом. Эта конфигурация также позволяет использовать наборы данных на основе файлов в качестве источника для аналитических приложений.

Так как Каталог можно открывать из хаба Qlik Talend Data Integration и из хаба служб аналитики Qlik, можно просматривать наборы данных в предпочитаемом месте, при этом будет использоваться правильное подключение в зависимости от контекста.

Вычисление качества

При нажатии кнопки Вычислить или Обновить на вкладке Обзор набора данных запускается расчет качества для образца из 1000 строк в базе данных. Эта операция выполняется в режиме подтягивания для наборов данных на основе файлов.

После вычисления качества данных извлекается и отображается предварительный просмотр до 1 000 строк (по умолчанию) с актуальными семантическими типами и статистикой по действительности и полноте данных. Затем этот образец сохраняется в MongoDB. Чтобы настроить размер предварительного просмотра набора данных (100 или 1 000 строк), администраторы клиента должны перейти на страницу Параметры в центре активности «Администрирование»; для получения дополнительных сведений см. Настройка размера предварительного просмотра набора данных.