Проверка и уточнение моделей
Завершив работу над первой версией обучения модели, анализируйте метрики полученной модели и настраивайте конфигурации новых моделей эксперимента, пока не добьетесь желаемого результата.
Когда запускается версия эксперимента, открывается вкладка Модели, где можно приступать к анализу результирующих метрик модели. Можно открыть Вид схемы и Вид данных, вернувшись на вкладку Данные. Более подробный анализ можно выполнять на вкладках Сравнение и Анализ.
Первая версия обучения завершается, когда все метрики внесены в таблицу Метрики модели и рядом с лучшей моделью появляется значок кубка 
.
Анализ моделей из версии 1
Вернитесь на вкладку Модели. В таблице Метрики модели лучшая модель отмечена значком . Это означает, что данная модель является самой производительной по показателю F1.
Таблица Метрики модели с самой производительной моделью для версии 1
Вернитесь на вкладку Модели. В таблице Метрики модели лучшая модель отмечена значком . Это означает, что данная модель является самой производительной по показателю F1.
Отсортируйте модели по производительности в порядке убывания, щелкнув заголовок столбца F1. Можно исключить алгоритмы с низкой производительностью или сосредоточиться только на лучшем из них, чтобы получить более быстрые результаты при следующей итерации обучения. Это будет решаться при настройке версии v3 дальше в этом разделе.
Выявление утечки данных
Взгляните на диаграммы Наблюдения модели справа на странице. На этих диаграммах отображается относительная важность каждого признака, а также производительность модели.
На диаграмме Важность перестановки, а также по списку Признаки на панели Конфигурация эксперимента видно, что эта первая итерация модели сильно зависит от признака DaysSinceLastService, а все остальные признаки не имеют практически никакого значения по сравнению с ним.
Диаграмма Важность перестановки на вкладке Модели, демонстрирующая утечку данных
Такую большую несоразмернность и крайне высокие оценки производительности F1 модели следует воспринимать как признак наличия проблем. В данном случае во время сбора данных не была определена логика, позволяющая остановить подсчет количества дней с момента получения клиентом последнего билета службы, для клиентов, которые отказались от подписки. В результате модель научилась ассоциировать большое количество дней с момента получения последнего билета обращения в службу поддержки (даже для клиентов, которые отказались от услуг несколько лет назад) со значением yes в столбце Churned.
Это пример утечки данных, так как в реальном сценарии у модели был бы доступ к данным только до момента создания прогнозирования, а данные о количестве дней, содержащиеся в этом поле, были собраны после точки измерения. Эта проблема представляет собой одну из форм утечки данных, а именно утечку цели. Для получения дополнительной информации об утечке данных см. Утечка данных.
Нам необходимо исключить признак DaysSinceLastService, который послужил причиной утечки, из конфигурации эксперимента, поскольку он искажает результирующие модели. Обратите внимание, что при использовании в реальных условиях необходимо тщательно проверить качество данных и логику до создания модели, чтобы убедиться, что результирующая модель обучена правильно.
Эта проблема будет решаться при настройке версии 2.
Настройка конфигурации и запуск версии 2
Давайте настроим новую версию, чтобы устранить утечку данных.
Выполните следующие действия.
Щелкните Посмотреть конфигурацию, чтобы развернуть панель конфигурации эксперимента.
Щелкните Новая версия.
На панели в списке Признаки снимите флажок DaysSinceLastService.
Щелкните Запустить версию 2.
Удаление DaysSinceLastService для версии 2
Анализ моделей из версии 2
После выполнения второй версии эксперимента установите флажок рядом с самой производительной моделью версии 2 в таблице Метрики модели (отмеченной значком кубка ). После этого на странице появятся метрики этой модели.
Сравнение метрик обучения и метрик на основе отложенных данных в разных моделях
Можно просмотреть дополнительные метрики и сравнивать метрики, сгенерированные в ходе обучения с использованием перекрестной проверки, с метриками, полученными на основе отложенных данных.
Выполните следующие действия.
В эксперименте перейдите на вкладку Сравнение.
Откроется встроенный анализ. Можно использовать интерактивный интерфейс для более проведения более глубокого сравнительного анализа модели и получения новых наблюдений.
На панели Листы справа на экране анализа переключитесь на лист Details.
Взгляните на таблицу Model Metrics. В ней отображаются метрики для оценки модели, такие как F1, а также другие сведения.
Версия 1 обучения была подвержена влиянию утечки цели, поэтому давайте сосредоточим внимание только на версии 2. Используйте фильтр Version справа на листе, чтобы выбрать значение 1.
В разделе Columns to show используйте фильтр для добавления или удаления столбцов в таблице.
В раскрывающемся списке добавьте дополнительные метрики. Оценки обучения для каждой метрики отображаются как значения, оканчивающиеся на Train. Добавьте несколько метрик обучения в таблицу.
Теперь отображаются метрики F1, сгенерированные в ходе обучения с использованием перекрестной проверки, которые можно сравнить с метриками, полученными на основе отложенных данных.
Добавление и просмотр оценок обучения для сравнения с оценками, полученными на основе отложенных данных
Идентификация признаков с низкой важностью
Затем следует проверить, имеются ли признаки с низкой важностью перестановки. Признаки, которые не оказывают значимого или совсем никакого влияния на модель, следует удалить, чтобы улучшить точность прогнозов.
Выполните следующие действия.
В эксперименте вернитесь на вкладку Модели.
Взгляните на диаграмму важности перестановки. Четыре нижних признака (StartMonth, DeviceType, CustomerTenure и Territory, оказывают на модель меньше влияния, чем остальные признаки. Они представляют небольшую прогнозную ценность для данного сценария использования и могут рассматриваться как статистический шум.
В версии 3 можно удалить эти признаки и посмотреть, улучшит ли это оценки модели.
Вкладка Модели, где выбрана самая производительная модель в версии 2. Диаграмма Важность перестановки показывает наличие признаков, которые не оказывают значимого или совсем никакого влияния на модель.
Идентификация алгоритмов с низкой производительностью
Также можно взглянуть на таблицу Метрики модели, чтобы узнать, можно ли удалить какие-либо алгоритмы из версии 3. При уточнении моделей можно удалить алгоритмы с низкой производительностью, чтобы при последующих итерациях обучение проходило быстрее.
В эксперименте вернитесь на вкладку Модели.
В таблице Метрики модели используйте фильтр Версия, чтобы отображать только модели из версии 2.
Взгляните на оценки F1 для каждого алгоритма. Если определенные алгоритмы создают модели, оценка которых значительно ниже по сравнению с другими, их можно удалить из следующей версии.
Настройка конфигурации и запуск версии 3
Выполните следующие действия.
Щелкните Посмотреть конфигурацию, чтобы развернуть панель конфигурации эксперимента.
Щелкните Новая версия.
На панели в списке Признаки снимите флажки StartMonth, DeviceType, CustomerTenure и Territory.
Также можно развернуть список Алгоритмы и снять флажки Упрощенный Гауссовский алгоритм Байеса и Логистическая регрессия.
Щелкните Запустить версию 3.
Анализ моделей из версии 3
После выполнения версии 3 можно сбросить фильтр Версия в таблице Метрики модели. Выберите самую производительную модель из версии 3.
Теперь проведем краткое сравнение моделей во всех версиях.
Первая версия обучения дала более высокие результаты, но эти метрики были очень завышены и не могли служить реалистичными предикторами производительности, что стало результатом утечки данных. В версии 3 значение F1 самой производительной модели увеличилось по сравнению с самой производительной моделью версии 2.
Таблица Метрики модели, где отображаются отсортированные оценки F1 для моделей во всех трех версиях. Оценка F1 улучшилась в версии 3 после удаления признаков с низкой важностью.
Как уже говорилось, можно переключиться на вкладку Сравнение для более глубокого сравнения оценок моделей.
Сосредоточение на конкретной модели
На любом этапе анализа модели можно выполнить подробный анализ отдельной модели. Изучите точность прогноза, важность признаков и распределение признаков с помощью интерактивных функций Qlik Sense.
Выполните следующие действия.
Выберите самую производительную модель версии 3 и перейдите на вкладку Анализ.
Откроется встроенный анализ.
На листе Model Overview можно анализировать точность прогнозов модели. Возможности анализа расширяются за счет выборок. Щелкните признак или спрогнозированное значение, чтобы создать выборку. Данные во встроенном анализе корректируется для фильтрации данных. Можно детализировать значения и диапазоны значений специфического признака и посмотреть, как меняется влияние признаков и точность прогноза.
Переходя на другие листы, можно просматривать визуализации для точности прогноза, распределения признаков и распределения воздействия (SHAP). Это аналитическое содержимое помогает:
выявлять основные факторы, влияющие на тренды в данных;
идентифицировать, как определенные признаки и когорты влияют на спрогнозированные значения и точность прогнозов;
идентифицировать выбросы в данных.
Вкладка Анализ в эксперименте машинного обучения
Следующие шаги
В реальной ситуации важно повторять эти шаги уточнения необходимое количество раз перед развертыванием модели, чтобы получить самую лучшую модель для конкретного сценария использования.
Перейдите к следующему разделу данного учебного пособия, который посвящен развертыванию модели.