Оценка качества данных

Последнее обновление: 2026-11-10

После открытия набора данных ознакомьтесь с обзором, чтобы узнать об общем качестве, схеме, статистике качества и семантических типах каждого столбца.

Индикаторы качества в наборе данных

Когда открывается обзор только что зарегистрированного набора данных, большинство сведений заблокированы (серые). Чтобы рассчитать качество данных в первый раз, нажмите кнопку Вычислить. Если расчет качества уже проводился раньше, но требуется убедиться в актуальности данных, нажмите кнопку Обновить.

Каждое вычисление или обновление в режиме pushdown повлечет за собой определенные расходы в вашем облачном хранилище данных (Snowflake или Databricks). Дополнительные сведения см. в Качество данных для наборов данных на основе подключения.

Качество отображается в двух основных разделах.

• Область Качество данных, содержащая полосу качества с тремя цветами и соответствующие им процентные значения:

  • Недопустимые (красный): показывает процент значений в выборке, которые считаются недопустимыми.

  • Пустые или null (черный): указывает процент значений в выборке, которые являются пустыми или имеют значение null.

  • Действительные (зеленый): отображает процент действительных значений в выборке. Процент не учитывает пустые значения.

• Область Схема, в которой отображаются различные поля набора данных, примененный тип данных и семантический тип, а также полосу качества для каждого поля набора данных.

Исследование семантических типов

Каждому столбцу набора данных автоматически назначается семантический тип, чтобы лучше описать его содержимое. В фоновом режиме выполняется операция исследования данных для определения типа, который будет им назначен.

Обнаруженные семантические типы также могут поддерживать классификацию данных и проверку на соответствие нормативным требованиям. Перед применением классификаций на уровне полей проверьте назначение семантических типов для конфиденциальных полей.

Режимы сэмплирования для режимов вычислений

Режим выборки, используемый для образцов данных, зависит от выбранного режима вычислений:

• Режим подтягивания: используется начальная выборка (head sample), то есть в качестве выборки берутся первые строки набора данных.
• Режим Pushdown: используется случайная выборка, обеспечивающая более распределенное представление набора данных. В настоящее время этот режим поддерживается только для Databricks и Snowflake.

Для файлов QVD используются как выборка первых строк, так и случайная выборка, чтобы обеспечить более репрезентативную выборку.

Понимание режима выборки помогает точно интерпретировать метрики качества данных в зависимости от режима вычислений.