Настройка качества данных

Последнее обновление: 2026-11-10

После первого вычисления качества данных в наборе данных можно обновить этот расчет и настроить его в соответствии с потребностями.

Определение размера выборки и режима обработки

Чтобы настроить размер выборки для вычисления качества, необходимо предварительно нажать кнопку Вычислить для набора данных.

1. Выберите Qlik Talend Data Integration > Каталог и откройте набор данных.

2. В зависимости от того, как вы хотите рассчитывать качество данных:

   • Нажмите Обновить, чтобы пересчитать качество данных с использованием ранее примененных параметров.

   • Нажмите стрелку вниз рядом с кнопкой Обновить, чтобы развернуть панель Качество и профилирование и настроить пересчет.

3. В разделе Размер выборки введите размер выборки, на основе которой требуется рассчитать качество данных:

   • Количество строк: введите количество строк, по которым требуется рассчитать качество данных. Максимальное значение ― 100 000 строк в режиме подтягивания, в режиме отталкивания максимального значения нет.

   • Процент от набора данных: в качестве альтернативы, введите процент от набора данных, на основе которого требуется рассчитать качество данных. Десятичные значения не допускаются. Для больших наборов данных, если 1% набора данных превышает максимально допустимое количество строк (100 000 строк), этот параметр не отображается.

4. В поле Режим обработки выберите режим, который будет использоваться при расчете качества данных.

   • Отталкивание: в данный момент доступно только для наборов данных Snowflake и Databricks. В этом режиме запускается расчет качества на стороне базы данных, в процессе которого потребляются кредиты Snowflake или единицы Databricks (DBU).

   • Подтянуть: доступно для всех наборов данных. Это запускает расчет качества в Qlik Cloud.

5. Щелкните Обновить, чтобы повторно рассчитать качество данных в соответствии с заданными параметрами.

Показатели качества данных, а также размер выборки отображаются в области Обзор. Время обработки варьируется в зависимости от размера выборки.

Расчет качества данных также можно запускать и настраивать с помощью соответствующего Qlik Public API.

Для планирования вычислений качества данных можно использовать шаблон Qlik Automate Запланировать вычисления качества данных. Дополнительные сведения см. в All templates."

Фильтрация предварительного просмотра набора данных по статусу качества

При просмотре набора данных на вкладке Предварительный просмотр данных результаты проверки качества визуально представлены с помощью цветной полосы в заголовках столбцов, а также на правой панели для типов данных и правил проверки.

Каждый сегмент полосы качества соответствует одной из категорий результатов. В заголовке столбца можно увидеть следующие индикаторы:

• Недопустимые (красный): показывает процент значений в выборке, которые считаются недопустимыми.

• Пустые или null (черный): указывает процент значений в выборке, которые являются пустыми или имеют значение null.

• Действительные (зеленый): отображает процент действительных значений в выборке. Процент не учитывает пустые значения.

При нажатии на заголовок столбца открывается правая панель, где можно увидеть те же индикаторы типов данных.

Кроме того, полоса качества для правил валидации на правой панели отображает:

• Невыполнимо (светло-красный): правило не может быть выполнено для этих значений.
• Недействительно (красный). Выполните одно из следующих действий.
  • Они удовлетворяют условию (if), но не выражению проверки (then), и альтернативное выражение проверки (else) не определено.
  • Они не выполняют ни условие (if), ни альтернативное выражение валидации (else).
• Неприменимо (светло-зеленый): значения не удовлетворяют условию (if), и альтернативное выражение проверки (else) не определено.
• Действительно (зеленый): значения удовлетворяют всем утверждениям правил.

Дополнительные сведения о правилах проверки см. в Работа с правилами валидации.

Вы можете отфильтровать предварительный просмотр набора данных, нажав на любой сегмент полосы качества как в заголовке столбца, так и в разделах правил и типов данных на правой панели. При нажатии на цветной сегмент:

• К текущему предварительному просмотру применяется фильтр, чтобы отобразить только строки, соответствующие этому результату проверки качества данных (для выбранного столбца или группы столбцов), и изолировать проблемы с качеством.
• Фильтр можно удалить, чтобы вернуться к полному предварительному просмотру выборки. Чтобы удалить фильтры, нажмите Очистить все фильтры.

Такая фильтрация позволяет быстро проверять только интересующие вас значения в наборе данных, упрощая просмотр и анализ записей по их статусу качества данных.