Просмотр и доработка моделей

После завершения первой версии обучения модели проанализируйте полученные метрики модели и рекомендованные модели. Если для доработки моделей требуются дополнительные изменения, можно запустить другие версии с помощью ручной оптимизации моделей.

При запуске версии эксперимента открывается вкладка Модели, где можно начать анализ полученных метрик модели. Перейти к режимам Просмотр схемы и Просмотр данных можно, вернувшись на вкладку Данные. Более детальный анализ можно выполнить на вкладках Сравнение и Анализ.

Qlik Predict постоянно совершенствует процессы обучения моделей. Поэтому вы можете заметить, что метрики моделей и другие сведения, показанные на изображениях на этой странице, не совпадают с вашими результатами при выполнении этих упражнений.

Анализ таблицы Метрики модели

Вернитесь на вкладку Модели. В разделе Метрики модели рекомендованные модели выделены на основе общих требований к качеству. Лучшая модель Кубок была выбрана для анализа автоматически.

На основе моделей, обученных в рамках эксперимента, предлагаются три рекомендации. Одна и та же модель может присутствовать в нескольких рекомендациях. Рекомендации:

Лучшая модель: модель с наилучшим балансом высоких показателей точности и скорости прогнозирования.
Самая точная: модель с самыми высокими показателями сбалансированной и исходной точности.
Самая быстрая модель: модель с наивысшей скоростью прогнозирования, а также высокими показателями точности.

Важно выбрать модель, которая лучше всего подходит для вашего сценария использования. В большинстве случаев наиболее предпочтительным вариантом является Лучшая модель. Однако для вашего сценария прогнозирования могут требоваться определенные характеристики скорости прогнозирования или метрик точности.

Подробный обзор того, как определяются лучшие типы моделей, см. в разделе Выбор оптимальной модели.

Таблица метрик моделей, показывающая рекомендованные модели и ключевые метрики моделей. — Таблица Метрики модели, показывающая рекомендованные модели и метрики моделей

Область анализа можно сузить с помощью раскрывающихся фильтров над рекомендациями. Лучшие типы моделей автоматически пересчитываются при каждом изменении фильтрации.

Переключайтесь между основными метриками с помощью селектора Показать метрику над таблицей. Модели можно сортировать по имени и выбранной анализируемой метрике.

Переобученные модели отмечены предупреждением в таблице. Такие модели не подходят для развертывания. Причины переобучения могут включать сложность модели, обусловленную алгоритмами обучения, и проблемы с набором данных для обучения. Для получения дополнительной информации см. Переобучение.

Анализ раздела Сводка по обучению модели

Теперь мы можем сосредоточиться на разделе Сводка по обучению модели в правой части интерфейса. Эта сводка позволяет узнать, как модель и входные данные обучения были оптимизированы для достижения наилучшей производительности. Сводка по обучению модели представляет собой обзор улучшений, полученных в результате интеллектуальной оптимизации моделей.

Из сводки на изображении ниже видно следующее:

Характеристики из данных обучения были исключены во время обучения и не вошли в модель.
Модель имеет коэффициент выборки 100%.

Характеристика исключена из-за утечки целевой переменной

Характеристика DaysSinceLastService была исключена во время обучения из-за утечки целевой переменной.

В этом столбце характеристик при сборе данных не была определена логика для остановки подсчета количества дней с момента последнего обращения в службу поддержки для клиентов, отменивших подписку. В результате модель могла научиться свявать большое количество дней с момента последнего обращения (присутствующее у клиентов, отменивших подписку несколько лет назад) со значением yes в поле Churned.

Эту характеристику необходимо было удалить из обучения, так как в противном случае модель показала бы очень низкую производительность на новых данных.

Эта проблема известна как утечка целевой переменной, которая является формой утечки данных. Для получения дополнительной информации об утечке данных см. Утечка данных.

Характеристики исключены из-за высокой корреляции

Мы видим, что PriorPeriodUsage-Rounded и AdditionalFeatureSpend были исключены во время обучения.

В данном случае по крайней мере один столбец характеристик — PriorPeriodUsage-Rounded — был напрямую получен из другого столбца в наборе данных. Другие проблемы с корреляцией были обнаружены для AdditionalFeatureSpend.

Удаление характеристик, вызывающих проблемы с корреляцией, важно для обучения качественной модели.

Для получения дополнительной информации о корреляции см. Корреляция.

Характеристики исключены из-за низкой важности

Несколько характеристик также были исключены из-за низкой важности перестановки. После предварительного анализа было установлено, что эти характеристики оказывают очень слабое влияние на результаты целевой переменной. Эти характеристики можно рассматривать как статистический шум, и они были удалены для повышения качества модели.

Для получения дополнительной информации о важности перестановки см. Общие сведения о важности перестановки.

Сводка по обучению модели в эксперименте машинного обучения, показывающая, как модель была оптимизирована для достижения наилучшей производительности. — Сводка по обучению модели

Анализ других визуализаций на вкладке Модели

На вкладке Модели доступны другие визуализации для дополнительного высокоуровневого анализа. Выбирайте различные модели в таблице Метрики модели, чтобы изучить производительность на уровне характеристик и другие диаграммы, которые могут дать представление о качестве модели.

Вкладка «Модели» в эксперименте машинного обучения, показывающая другие визуализации, доступные для анализа модели — Вкладка Модели в эксперименте машинного обучения, показывающая другие визуализации, доступные для анализа

Сравнение метрик обучения и отложенных метрик

Можно просмотреть дополнительные метрики и сравнить метрики перекрестной проверки при обучении с отложенными метриками.

Выполните следующие действия.

В эксперименте перейдите на вкладку Сравнение.

Откроется встроенный анализ. Интерактивный интерфейс позволяет глубже погрузиться в сравнительный анализ моделей и получить новые выводы.
На панели Листы в левой части анализа перейдите на лист Подробно.
Посмотрите на визуализацию Метрики модели. Она показывает метрики оценки модели, такие как F1, а также другую информацию.
В разделе Столбцы для отображения используйте Фильтр для добавления и удаления столбцов в таблице.
В раскрывающемся списке добавьте дополнительные метрики. Оценки обучения доступны для добавления в таблицу. Их можно добавлять по мере необходимости для анализа.

Теперь вы можете видеть метрики F1 для обучения с перекрестной проверкой и сравнивать их с отложенными метриками.

Использование вкладки «Сравнение» в эксперименте для просмотра оценок обучения наряду с отложенными оценками — Добавление и просмотр оценок обучения для сравнения с отложенными оценками

Фокусировка на конкретной модели

В любой момент анализа моделей можно выполнить детальный анализ отдельной модели. Изучите точность прогнозирования, важность характеристик и распределение характеристик в интерактивном режиме.

Выполните следующие действия.

Выберите любую модель, затем перейдите на вкладку Анализ.

Откроется встроенный анализ.
На листе Обзор модели можно проанализировать точность прогнозирования модели. Анализ расширяется благодаря возможностям выборок. Щелкните характеристику или прогнозируемое значение, чтобы сделать выборку. Данные во встроенном анализе скорректируются для фильтрации данных. Можно детализировать конкретные значения и диапазоны характеристик, чтобы увидеть, как меняются влияние характеристик и точность прогнозирования.
Переключившись на другие листы, можно просмотреть визуализации точности прогнозирования, распределения характеристик и распределения влияния (SHAP). Этот аналитический контент поможет вам:
- Выявить ключевые факторы, влияющие на тенденции в данных.
- Определить, как конкретные характеристики и когорты влияют на прогнозируемые значения и точность прогнозирования.
- Выявить выбросы в данных.

Использование вкладки «Анализ» для расширения возможностей анализа с помощью выборок — Вкладка Анализ в эксперименте машинного обучения

Дальнейшие действия

После запуска версии эксперимента с интеллектуальной оптимизацией моделей можно при необходимости запускать ручные версии для доработки моделей. Чтобы быстро создать новую ручную версию, можно вернуться на вкладку Модели и нажать Новая ручная версия в разделе Сводка по обучению модели.

В реальном сценарии важно повторять шаги доработки столько раз, сколько необходимо, перед развертыванием модели, чтобы получить наилучшую модель для конкретного сценария использования.

Для получения дополнительной информации о доработке моделей см. Улучшение моделей.

В этом руководстве перейдите к следующему разделу, посвященному развертыванию модели.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице или с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом!

Оставьте свой отзыв здесь