Выполнение быстрого анализа модели
После завершения обучения моделей для версии эксперимента выполните анализ наиболее важных метрик модели и ознакомьтесь со сводкой по обработке обучающих данных. Быстрый анализ выполняется на вкладках Настройка/Обучающие данные и Модели.
Используйте вкладку Модели для обзора результатов обучения. При запуске версии эксперимента автоматически открывается вкладка Модели. Также рекомендуется вернуться на вкладку Обучающие данные, чтобы проверить, как данные были предварительно обработаны.
Вкладка Модели для эксперимента бинарной классификации
Для дальнейшей оценки моделей доступны дополнительные параметры. Можно сравнивать дополнительные метрики и гиперпараметры моделей или сосредоточиться на конкретной модели для детального анализа. Эти параметры доступны на вкладках Сравнить и Анализировать. Для получения дополнительной информации см.:
Понимание концепций
Перед началом оценки моделей может быть полезно ознакомиться с базовыми концепциями анализа моделей. Для получения дополнительной информации см. Общие сведения о концепциях проверки моделей.
Воздействие настроек оптимизации на анализ
В экспериментах классификации и регрессии процесс анализа может незначительно отличаться в зависимости от того, используется или нет интеллектуальная оптимизация модели. Интеллектуальная оптимизация модели по умолчанию включена во всех новых экспериментах классификации и регрессии.
Анализ моделей, обученных с использованием интеллектуальной оптимизации
По умолчанию новые эксперименты классификации и регрессии выполняются с интеллектуальной оптимизацией модели.
Интеллектуальная оптимизация модели обеспечивает более устойчивый процесс обучения, который в идеале создает модель, готовую для развертывания с незначительными доработками или совсем без них. Производительность этих моделей, развернутых в рабочих сценариях применения, по-прежнему зависит от обучения с использованием высококачественного набора данных, который включает релевантные признаки и данные.
Если версия обучена с использованием интеллектуальной оптимизации модели, необходимо учитывать следующее:
-
В каждой модели этой версии могут быть выбраны разные признаки в зависимости от примененного алгоритма анализа данных.
-
На вкладке Модели прочитайте Краткое описание обучения модели, прежде чем приступать к специфическому анализу. В разделе Краткое описание обучения модели показано, как Qlik Predict автоматически оптимизирует модель путем итерационного перебора признаков и применения расширенных преобразований.
Для получения дополнительной информации об интеллектуальной оптимизации модели см. раздел Интеллектуальная оптимизация моделей.
Анализ моделей, обученных без использования интеллектуальной оптимизации
В качестве альтернативы можно выключить интеллектуальную оптимизацию модели для версии обучения. Ручная оптимизация моделей может быть полезна, если требуется усилить контроль процесса обучения.
Если использована ручная оптимизация, во всех моделях версии будут выбраны одинаковые признаки, поэтому Краткое описание обучения модели не требуется.
Проверка конфигурации
Во время предварительной обработки характеристики могли быть исключены из обучения. Обычно это происходит потому, что по мере обучения о данных становится известно больше информации, чем до запуска версии.
После ознакомления со сводкой Сводка обучения модели (отображается только при интеллектуальной оптимизации) можно более подробно изучить конфигурацию эксперимента, если необходимо проверить наличие этих других изменений.
Выполните следующие действия.
-
В эксперименте перейдите на вкладку Данные обучения.
-
Убедитесь, что вы находитесь в режиме
Просмотр схемы. -
Используйте раскрывающееся меню на панели инструментов, чтобы выбрать модель из версии.
-
Проанализируйте схему модели. Возможно, стоит обратить внимание на столбцы Аналитика и Тип характеристики, чтобы узнать, были ли отброшены определенные характеристики или преобразованы в другой тип характеристик.
Например, характеристика, изначально отмеченная как Возможный свободный текст, могла быть исключена после запуска версии.
Для получения дополнительной информации о значении каждого аналитического вывода см. Интерпретация аналитических сведений о наборе данных.
Обратите внимание: если версия была запущена с параметром интеллектуальной оптимизации по умолчанию, каждая модель в версии может иметь различный выбор характеристик из-за автоматической доработки. Если версия была запущена без интеллектуальной оптимизации, выбор характеристик будет одинаковым для всех моделей в версии. Для получения дополнительной информации об интеллектуальной оптимизации моделей см. Интеллектуальная оптимизация моделей.
Исходя из результатов анализа этой конфигурации, возможно, потребуется вернуться к этапу подготовки набора данных, чтобы улучшить данные характеристик.
Если интеллектуальная оптимизация моделей отключена, в рамках быстрого анализа сводка Сводка по обучению модели отображаться не будет. Кроме того, все модели из версии эксперимента будут использовать одинаковые комбинации характеристик, в то время как модели, обученные с использованием интеллектуальной оптимизации, могут иметь разные комбинации характеристик.
Выбор модели
После завершения обучения рекомендуемая модель автоматически выбирается для анализа, и отображаются метрики для этой модели.
Переключайтесь между моделями, чтобы сравнить различия в метриках и конфигурации. Если вы находитесь на вкладке Обучающие данные, выберите модель в раскрывающемся меню на панели инструментов. Если вы находитесь на вкладке Модели, щелкните модель в таблице Метрики модели, чтобы выбрать ее.
Анализ сводки по обучению
Интеллектуальная оптимизация моделей
Для моделей, обученных с использованием интеллектуальной оптимизации моделей, в разделе Сводка по обучению модели приводится ключевая информация о том, что происходило во время обучения. Эта сводка включает в себя следующее:
-
Коэффициент выборки для модели.
-
Список характеристик, которые были автоматически исключены в результате интеллектуальной оптимизации. Этот список зависит от выбранной модели.
-
Сводка по всем расширенным преобразованиям, примененным при обучении модели.
-
Ссылка на обучающий набор данных.
Раздел Сводка по обучению модели не отображается, если оптимизация моделей выполняется вручную.
Для получения дополнительной информации об интеллектуальной оптимизации моделей см. Интеллектуальная оптимизация моделей.
Диаграмма Сводка по обучению модели для модели, отображаемая на вкладке Модели
В сводке по обучению модели не перечисляются характеристики, которые были исключены на этапе предварительной обработки. Чтобы проверить эту информацию, вернитесь на вкладку Данные эксперимента. См.: Проверка конфигурации
Выполните следующие действия.
-
В эксперименте перейдите на вкладку Модели.
-
Убедитесь, что выбрана модель, которую требуется проанализировать.
-
В разделе Сведения о модели в правой части страницы найдите элемент Сводка по обучению модели.
Эксперименты с временными рядами
В экспериментах с временными рядами в разделе Сводка по обучению модели отображаются параметры конфигурации для задачи прогнозирования временных рядов, определенные вашим набором данных и настройками обучения. Некоторые из этих деталей были оценены до начала обучения, но теперь они точно подтверждены после анализа всего набора данных. Вы можете просмотреть:
-
Диапазон дат для данных, использованных для обучения модели
-
Временной шаг
-
Размер окна применения
-
Максимальный прогноз
-
Размеры окна прогнозирования и интервала
Диаграмма Сводка по обучению модели для модели в эксперименте с временными рядами
Анализ таблицы метрик модели
В таблице Метрики модели представлена общая информация об эффективности каждой модели в эксперименте. Рекомендуемые модели из этого списка представлены над таблицей.
Таблица Метрики модели с рекомендуемыми моделями и фильтрами
В таблице отображаются следующие сведения:
-
Является ли модель лучшей моделью по отношению к типам лучших моделей. См.: Поиск лучших моделей
-
Имя каждой модели (его можно изменить для удобства. См.: Редактирование сведений о модели)
-
Алгоритм, использованный для обучения модели
-
Ключевые метрики, связанные с эффективностью модели. Можно переключаться между следующими элементами:
-
Общие метрики для оценки прогностического потенциала в соответствии с типом модели. Для моделей бинарной классификации это F1. Для моделей мультиклассовой классификации это F1 Macro. Для моделей регрессии это R2.
-
Скорость прогнозирования.
-
Точность. Для моделей классификации это метрика под названием «точность». Для моделей регрессии это MAE (средняя абсолютная ошибка).
-
Поиск лучших моделей
Наилучшие и наиболее эффективные модели определяются на основе примененных фильтров. Они представлены в качестве рекомендаций над таблицей метрик моделей, а также выделены внутри таблицы.
По умолчанию выбрана Лучшая модель. Эта модель отмечена значком 
. Лучшая модель определяется на основе сбалансированного расчета, учитывающего как точность, так и скорость прогнозирования.
В зависимости от вашего варианта использования вас также может заинтересовать индивидуальный анализ конкретных показателей эффективности. Другие наиболее эффективные модели выделены следующими маркерами:
-
Самая точная: Модель демонстрирует наивысшую точность на основе применимых метрик оценки для данного типа задачи. -
Самая быстрая модель: Модель обеспечивает самую высокую скорость прогнозирования. Точность также принимается во внимание.
Вы также можете выбирать наиболее эффективные модели непосредственно из рекомендаций над таблицей Метрики модели.
Для получения полного обзора того, как определяется каждый тип рекомендуемой модели, см. Выбор оптимальной модели.
Фильтрация моделей в таблице
Таблицу метрик моделей можно отфильтровать, чтобы показать только те модели, которые вы хотите сравнить.
Доступны следующие фильтры, которые можно комбинировать по мере необходимости:
-
Версия: выбор одной или нескольких версий эксперимента.
-
Алгоритм: выбор одного или нескольких алгоритмов.
-
100%-я выборка: этот фильтр применяется по умолчанию. При желании его можно удалить. Фильтр показывает модели, которые использовали весь обучающий набор данных для завершения процесса обучения и перекрестной проверки. Находится в разделе Другие фильтры моделей.
-
Развернуто: показывать модели, которые были развернуты в развертываниях ML. Находится в разделе Другие фильтры моделей.
После применения желаемых фильтров наиболее эффективные модели автоматически пересчитываются на основе отфильтрованных элементов. После этого ваши рекомендуемые модели обновляются.
Интерпретация визуализаций важности характеристик
На вкладке Модели прокрутите вниз, чтобы просмотреть визуализации важности характеристик. Это будут Важность перестановки и Важность SHAP.
Визуализация важности характеристик на вкладке Модели
Диаграмма Важность перестановки
Диаграмма Важность перестановки показывает важность каждой характеристики для общего прогноза модели. Данные на диаграмме Важность перестановки помогут вам понять, как усовершенствовать свои модели.
Общие выводы, которые можно сделать в результате анализа этой диаграммы, включают в себя следующее:
-
Если одна характеристика забирает почти всю важность, это, скорее всего, признак утечки целевого признака. Эту характеристику необходимо удалить. Если это вызвано проблемами с качеством данных, их также необходимо решить.
-
Некоторые характеристики могут оказывать очень слабое влияние на прогнозы модели или не оказывать его вовсе. Характеристики с крайне низкой важностью перестановки можно считать статистическим шумом и следует удалить.
Если для обучения версии использовалась интеллектуальная оптимизация моделей, некоторые из упомянутых выше распространенных проблем могли быть автоматически решены путем исключения этих характеристик.
Для получения дополнительной информации о важности перестановки см. Общие сведения о важности перестановки.
Диаграмма Важность SHAP
Диаграмма Важность SHAP предоставляет еще один способ анализа влияния каждой характеристики в эксперименте на прогнозы каждой модели. Это может дать вам раннее представление о том, какие характеристики являются значимыми, или о необходимости перенастройки обучения. Для получения дополнительной информации см. Общие сведения о важности SHAP в обучении эксперимента.
Интерпретация визуализаций оценки моделей
Для некоторых типов моделей доступны дополнительные визуализации, позволяющие получить обзор эффективности работы модели.
Бинарная классификация
Если ваш эксперимент представляет собой задачу бинарной классификации, автоматически создается ряд дополнительных визуализаций для быстрого ознакомления. Эти визуализации дают более глубокое представление о том, насколько хорошо модель прогнозирует положительные и отрицательные классы.
Для получения дополнительной информации об этих визуализациях см. Оценка моделей двоичной классификации.
Матрица ошибок
Диаграмма Матрица ошибок показывает точность прогнозов, созданных моделью. Прогнозы выполняются на основе автоматических отложенных данных.
ROC-кривая
Диаграмма ROC-кривая описывает, насколько хорошо модель прогнозирует положительный класс, когда фактический результат является положительным.
Чтобы узнать, как выглядит идеальная ROC-кривая, см. ROC-кривая и площадь под ней.
Временные ряды
Для моделей временных рядов автоматически создается диаграмма Ошибка прогнозирования в окне прогноза, позволяющая оценить точность прогнозирования. Вы можете просмотреть уровень ошибки прогнозирования для каждого временного шага в окне прогноза. Показатели ошибок разбиты на 50-й, 10-й и 90-й процентили.
Анализ результатов обнаружения предвзятости
Если для каких-либо характеристик в версии было активировано обнаружение предвзятости, вы можете быстро узнать, в каких характеристиках была выявлена предвзятость данных и модели.
Из-за ограниченного пространства в этом сжатом представлении показаны не все метрики и группы. Например, если метрика обнаружения предвзятости рассчитывается на основе этих статистических данных, могут отображаться только минимумы и максимумы. Вы можете перейти на вкладку Анализировать, чтобы просмотреть подробные сведения о результатах предвзятости для каждой выбранной характеристики.
Для получения дополнительной информации см. Быстрый анализ результатов предвзятости.