Выполнение быстрого анализа модели

Когда модели завершают обучение для версии эксперимента, выполните анализ самых важных метрик модели и просмотрите общие сведения о том, как обрабатывались данные для обучения. Быстрый анализ выполняется на вкладках Данные и Модели.

Перейдите на вкладку Модели для просмотра общих сведений о результатах обучения. Когда запускается версия эксперимента, автоматически открывается вкладка Модели. Также рекомендуется вернуться на вкладку Данные, чтобы проверить, как повторно обрабатывались данные.

Дополнительные параметры доступны для дальнейшей оценки моделей Можно сравнивать дополнительные метрики и гиперпараметры между моделями или сосредоточить внимание на конкретной модели для подробного анализа. Эти параметры доступны на вкладках Сравнение и Анализ. Для получения дополнительной информации см.:

• Сравнение моделей

• Выполнение подробного анализа модели

Общее представление о концепциях

Прежде чем приступить к сравнению моделей, полезно получить общее представление о концепциях, лежащих в основе оценки модели. Для получения дополнительной информации см. раздел Общие сведения о концепциях проверки моделей.

Воздействие настроек оптимизации на анализ

Процесс анализа может незначительно отличаться в зависимости от того, используется или нет интеллектуальная оптимизация модели. Интеллектуальная оптимизация модели по умолчанию включена для новых экспериментов.

Анализ моделей, обученных с использованием интеллектуальной оптимизации

По умолчанию новые эксперименты запускаются с использованием интеллектуальной оптимизации модели.

Интеллектуальная оптимизация модели обеспечивает более устойчивый процесс обучения, который в идеале создает модель, готовую для развертывания с незначительными доработками или совсем без них. Производительность этих моделей, развернутых в рабочих сценариях применения, по-прежнему зависит от обучения с использованием высококачественного набора данных, который включает релевантные признаки и данные.

Если версия обучена с использованием интеллектуальной оптимизации модели, необходимо учитывать следующее:

• В каждой модели этой версии могут быть выбраны разные признаки в зависимости от примененного алгоритма анализа данных.

• На вкладке Модели прочитайте Краткое описание обучения модели, прежде чем приступать к специфическому анализу. В разделе Краткое описание обучения модели показано, как AutoML автоматически оптимизировал модель путем итерационного выбора признаков и применения расширенных преобразований.

Для получения дополнительной информации об интеллектуальной оптимизации моделей см. раздел Интеллектуальная оптимизация модели.

Анализ моделей, обученных без использования интеллектуальной оптимизации

В качестве альтернативы можно выключить интеллектуальную оптимизацию модели для версии обучения. Ручная оптимизация моделей может быть полезна, если требуется усилить контроль процесса обучения.

Если использована ручная оптимизация, во всех моделях версии будут выбраны одинаковые признаки, поэтому Краткое описание обучения модели не требуется.

Проверка конфигурации

Во время предварительной обработки признаки могли быть исключены из числа используемых в обучении. Обычно это происходит в результате того, что по мере обучения становится известно больше информации о данных, чем до запуска версии.

После просмотра сведений на экране Краткое описание обучения модели (отображается только при использовании интеллектуальной оптимизации) можно повнимательнее изучить конфигурацию эксперимента, если требуется проверить наличие других изменений.

Выполните следующие действия.

1. В эксперименте перейдите на вкладку Данные.

2. Убедитесь, что открыт Вид схемы.

3. В раскрывающемся меню на панели инструментов выберите модель из версии.

4. Проанализируйте схему модели. Может потребоваться сосредоточить внимание на столбцах Наблюдения и Тип признака, чтобы оценить, отброшены ли некоторые признаки или преобразованы в признаки другого типа.

   Например, признак, первоначально помеченный как Возможен произвольный текст, может быть исключен после запуска версии.

   Для получения дополнительной информации о значении каждого наблюдения см. раздел Интерпретация наблюдений для набора данных.

Обратите внимание, что если версия запущена с использованием интеллектуальной оптимизации (параметр по умолчанию), в каждой модели версии могут быть выбраны другие признаки в результате автоматического улучшения. Если версия запущена без интеллектуальной оптимизации, во всех моделях версии выбраны одинаковые признаки. Для получения дополнительной информации об интеллектуальной оптимизации модели см. раздел Интеллектуальная оптимизация модели.

В зависимости от конкретных аспектов этой конфигурации может потребоваться вернуться на этап подготовки набора данных, чтобы улучшить данные признаков.

Когда интеллектуальная оптимизация моделей выключена, при выполнении быстрого анализа не отображается сводка Краткое описание обучения модели. Кроме того, все модели версии эксперимента будут использовать одинаковые комбинации признаков, а модели, обученные с применением интеллектуальной оптимизации, могут иметь разные комбинации признаков.

Выбор модели

Когда завершается обучение, самая производительная модель автоматически выбирается для анализа, отображаются метрики для этой модели. Самая производительная модель для каждой версии эксперимента отмечается значком .

Переключайтесь между моделями, чтобы сравнить отличия в метриках и конфигурации. Если открыта вкладка Данные, выберите модель в раскрывающемся меню на панели задач. Если открыта вкладка Модели, выберите модель в таблице Метрики модели.

Анализ краткого описания обучения

Для моделей, обученных с использованием интеллектуальной оптимизации модели, Краткое описание обучения модели содержит ключевые сведения о том, как проходило обучение. Это краткое описание содержит:

• коэффициент выборки для модели;

• список признаков, автоматически отброшенных в результате интеллектуальной оптимизации. Этот список варьируется в зависимости от выбранной модели;

• ссылка на набор данных для обучения.

Краткое описание обучения модели не отображается, если оптимизация моделей выполняется вручную.

Для получения дополнительной информации об интеллектуальной оптимизации модели см. раздел Интеллектуальная оптимизация модели.

В общем описании обучения модели не перечислены признаки, отброшенные на этапе предварительной обработки. Чтобы проверить эту информацию, вернитесь на вкладку Данные эксперимента. См.: Проверка конфигурации

Выполните следующие действия.

1. В эксперименте перейдите на вкладку Модели.

2. Убедитесь, что выбрана модель, которую требуется проанализировать.

3. В разделе Наблюдения модели справа на странице взгляните на Краткое описание обучения модели.

Анализ таблицы с метриками модели

В таблице Метрики модели приводится высокоуровневая информация о производительности каждой модели в эксперименте. Эта таблица отображается на вкладке Модели.

Когда открыта вкладка Модели, таблица Метрики модели также служит для выбора анализируемой модели.

В таблице «Метрики модели» отображается:

• Является ли модель самой производительной для данной версии

• Имя каждой модели (Его можно изменить для удобства. См.: Редактирование сведений о модели)

• Алгоритм, используемый для обучения модели

• Значения для самой важной оценки производительности модели с учетом типа модели, определенного в соответствии с целью эксперимента:

  • Модели двоичной классификации: F1.

    F1

  • Модель многоклассовой классификации: F1 Macro.

    Macro F1

  • Регрессионные модели: R2.

    R2

  Для получения дополнительной информации о том, какие типы модели обучает эксперимент, см. раздел Определение типа создаваемой модели.

Фильтрация моделей в таблице

Таблицу «Метрики модели» можно отфильтровать, чтобы отображались только те модели, которые требуется сравнить.

Доступны следующие фильтры, их можно комбинировать по необходимости:

• Версия: выберите одну или несколько версий эксперимента.

• Алгоритм: выберите один или несколько алгоритмов.

• Модели с лучшей производительностью: отображаются самые производительные модели во всех версиях (с пометкой ). находится в разделе Другие фильтры моделей.

• 100%-ная выборка: этот фильтр применяется по умолчанию. При желании его можно удалить. Этот фильтр отображает модели, которые использовали полный набор данных для обучения с целью завершения процесса обучения и перекрестной проверки. находится в разделе Другие фильтры моделей.

• Развернутые: отображаются модели, включенные в развертывания машинного обучения. находится в разделе Другие фильтры моделей.

Интерпретация визуализаций важности признаков

На вкладке Модели прокрутите вниз для просмотра визуализаций важности признаков. Это визуализации Важность перестановки и Важность SHAP.

Диаграмма Важность перестановки

Диаграмма Важность перестановки демонстрирует важность признака для общего прогнозирования с помощью модели. Содержимое диаграммы Важность перестановки помогает понять, как можно уточнить модели.

Общие наблюдения, которые можно получить в процессе анализа этой диаграммы:

• Если один признак забирает на себя почти всю важность, вероятно, это свидетельствует об утечке цели. Такой признак необходимо удалить. Если утечка вызвана проблемами с качеством данных, их также необходимо решить.

  Утечка данных

• Воздействие некоторых признаков на прогнозы модели может быть очень маленьким или отсутствовать совсем. Признаки с крайне низкой важностью перестановки можно рассматривать как статистический шум, их следует удалить.

 Если для обучения версии использовалась интеллектуальная оптимизация модели, некоторые из распространенных проблем, перечисленных выше, могут решаться автоматическим путем отбрасывания таких признаков.

Для получения дополнительной информации о важности перестановки см. раздел Общие сведения о важности перестановки.

Диаграмма Важность SHAP

Диаграмма Важность SHAP ― это еще один способ анализа влияния, которое каждый признак в эксперименте оказывает на прогнозы каждой модели. Это позволяет на раннем этапе оценить значимость признаков или необходимость изменения конфигурации обучения. Для получения дополнительной информации см. раздел Общие сведения о важности SHAP в обучении эксперимента.

Интерпретация визуализаций оценки модели

Если эксперимент представляет собой задачу с двоичной классификацией, то автоматически генерируется ряд дополнительных визуализаций для быстрого использования. Эти визуализации позволяют сделать дополнительные наблюдения о том, насколько хорошо модель прогнозирует положительные и отрицательные классы.

Для получения дополнительной информации об этих визуализациях см. раздел Оценка моделей двоичной классификации.

Матрица ошибок

Диаграмма Матрица ошибок демонстрирует точность прогнозов, созданных моделью. Прогнозирование осуществляется с использованием автоматически отложенных данных.

Матрица ошибок

Кривая рабочей характеристики приемника (ROC)

Диаграмма ROC-кривая описывает, насколько хорошо модель прогнозирует положительный класс, когда фактический результат является положительным.

Для ознакомления с описанием идеальной ROC-кривой см. раздел ROC-кривая и площадь под ней.