Сравнение моделей

На вкладке Сравнение эксперимента можно просмотреть все оценки модели и гиперпараметры для обучаемых моделей. Сравните модели с помощью встроенной аналитики.

После завершения обучения проведите сравнительный анализ моделей на вкладке Сравнить. Завершив сравнение моделей, можно перейти на вкладку Анализ для выполнения подробного анализа отдельных моделей. Для получения дополнительной информации см. раздел Выполнение подробного анализа модели.

Рабочий процесс анализа

Для полного понимания результатов обучения модели рекомендуется провести быстрый анализ, а затем продолжить работу с дополнительными параметрами на вкладках Сравнение и Анализ. При быстром анализе можно просмотреть Краткое описание обучения модели, где показано, какие функции отброшены во время интеллектуальной оптимизации, а также отображается ряд автоматически созданных визуализаций для быстрого использования. На вкладках Сравнение и Анализ нет раздела Краткое описание обучения модели, но можно более детально изучить метрики модели, чтобы лучше оценить качество моделей. Для получения дополнительной информации о быстром анализе см. раздел Выполнение быстрого анализа модели.

Общее представление о концепциях

Прежде чем приступить к сравнению моделей, полезно получить общее представление о концепциях, лежащих в основе анализа модели. Для получения дополнительной информации см. раздел Общие сведения о концепциях проверки моделей.

Воздействие настроек оптимизации на анализ

Процесс анализа может незначительно отличаться в зависимости от того, используется или нет интеллектуальная оптимизация модели. Интеллектуальная оптимизация модели по умолчанию включена для новых экспериментов.

Анализ моделей, обученных с использованием интеллектуальной оптимизации

По умолчанию новые эксперименты запускаются с использованием интеллектуальной оптимизации модели.

Интеллектуальная оптимизация модели обеспечивает более устойчивый процесс обучения, который в идеале создает модель, готовую для развертывания с незначительными доработками или совсем без них. Производительность этих моделей, развернутых в рабочих сценариях применения, по-прежнему зависит от обучения с использованием высококачественного набора данных, который включает релевантные признаки и данные.

Если версия обучена с использованием интеллектуальной оптимизации модели, необходимо учитывать следующее:

• В каждой модели этой версии могут быть выбраны разные признаки в зависимости от примененного алгоритма анализа данных.

• На вкладке Модели прочитайте Краткое описание обучения модели, прежде чем приступать к специфическому анализу. В разделе Краткое описание обучения модели показано, как AutoML автоматически оптимизировал модель путем итерационного выбора признаков и применения расширенных преобразований.

Для получения дополнительной информации об интеллектуальной оптимизации моделей см. раздел Интеллектуальная оптимизация модели.

Анализ моделей, обученных без использования интеллектуальной оптимизации

В качестве альтернативы можно выключить интеллектуальную оптимизацию модели для версии обучения. Ручная оптимизация моделей может быть полезна, если требуется усилить контроль процесса обучения.

Если использована ручная оптимизация, во всех моделях версии будут выбраны одинаковые признаки, поэтому Краткое описание обучения модели не требуется.

Проверка конфигурации

Во время предварительной обработки признаки могли быть исключены из числа используемых в обучении. Обычно это происходит в результате того, что по мере обучения становится известно больше информации о данных, чем до запуска версии.

После просмотра сведений на экране Краткое описание обучения модели (отображается только при использовании интеллектуальной оптимизации) можно повнимательнее изучить конфигурацию эксперимента, если требуется проверить наличие других изменений.

Выполните следующие действия.

1. В эксперименте перейдите на вкладку Данные.

2. Убедитесь, что открыт Вид схемы.

3. В раскрывающемся меню на панели инструментов выберите модель из версии.

4. Проанализируйте схему модели. Может потребоваться сосредоточить внимание на столбцах Наблюдения и Тип признака, чтобы оценить, отброшены ли некоторые признаки или преобразованы в признаки другого типа.

   Например, признак, первоначально помеченный как Возможен произвольный текст, может быть исключен после запуска версии.

   Для получения дополнительной информации о значении каждого наблюдения см. раздел Интерпретация наблюдений для набора данных.

Обратите внимание, что если версия запущена с использованием интеллектуальной оптимизации (параметр по умолчанию), в каждой модели версии могут быть выбраны другие признаки в результате автоматического улучшения. Если версия запущена без интеллектуальной оптимизации, во всех моделях версии выбраны одинаковые признаки. Для получения дополнительной информации об интеллектуальной оптимизации модели см. раздел Интеллектуальная оптимизация модели.

В зависимости от конкретных аспектов этой конфигурации может потребоваться вернуться на этап подготовки набора данных, чтобы улучшить данные признаков.

Запуск сравнения модели

Выполните следующие действия.

• Откройте вкладку Сравнение после завершения обучения.

Аналитическое содержимое зависит от типа модели в соответствии с целью эксперимента. Для каждого типа модели доступны разные метрики.

Навигация по встроенной аналитике

Используйте интерфейс для интерактивного сравнения моделей с применением встроенной аналитики.

Переключение между листами

На панели Листы можно переключаться между листами анализа. Каждый лист имеет свою специфику. Панель можно разворачивать и сворачивать по необходимости.

Выполнение выборок

Используйте выборки для уточнения данных. Можно выбрать модели, признаки и другие параметры. Это позволяет лучше изучить подробные сведения об обучении. В некоторых случаях может потребоваться создать одну или несколько выборок для отображения визуализаций. Чтобы создать выборки, щелкайте значения данных в визуализациях и фильтрах.

Работая с выборками, можно выполнять следующие действия:

• Для выбора значений щелкайте содержимое, определите диапазоны и рисуйте.

• Выполните поиск по диаграммам, чтобы выбрать значения.

• Щелкните выбранное поле на верхней панели инструментов встроенного анализа. Это позволяет выполнять поиск в существующих выборках, устанавливать или снимать блокировку выборок, а также вносить дополнительные изменения в выборки.

• На верхней панели инструментов встроенного анализа щелкните , чтобы удалить выборку. Чтобы очистить все выборки, щелкните значок .

• Переходите на шаг вперед или назад в выборках, нажимая кнопки и .

Анализы содержат фильтры, которые позволяют легко уточнить данные. На панели фильтра установите флажок рядом с нужным значением, чтобы сделать выбор. Если фильтр содержит несколько списков, щелкните нужный список, чтобы развернуть его, а затем выберите нужные элементы.

Пользовательская настройка таблиц

Визуализации таблицы позволяют настраивать их внешний вид, а также отображаемые столбцы. Доступны следующие действия для пользовательской настройки таблиц:

• Регулируйте ширину столбцов, щелкая и перетаскивая внешнюю границу столбца

• Щелкните заголовок столбца, чтобы:

  • изменить сортировку столбца;

  • выполнить поиск значений в столбце;

  • применить выборки.

Перезагрузка данных

ЩелкнитеПерезагрузить данные, чтобы обновить анализ, используя самые последние данные обучения. Если пользователи запускают дополнительные версии обучения после того, как был открыт анализ, потребуется перезагрузить данные, чтобы визуализировать эти новые версии.

Экспорт данных в каталог

Данные, используемые в анализе сравнения моделей, можно экспортировать в каталог. Данные экспортируются в пространство в Аналитика Qlik Cloud. Можно использовать экспортированные данные, чтобы создавать собственные приложения Qlik Sense для пользовательского анализа.

Для получения дополнительной информации см. раздел Экспорт данных для обучения модели.

Ранжирование моделей по определенным метрикам

Лист Сравнение моделей содержит интерактивные диаграммы для визуализации сравнения моделей по заданным метрикам. Используйте фильтры под каждой диаграммой, чтобы визуализировать разные метрики. Используйте эту пользовательскую настройку для отображения тех метрик, которые наиболее важны для конкретного сценария прогнозирования.

Сравнение оценок модели и значений гиперпараметров

На листе Сведения оценки модели и гиперпараметры отображаются в формате таблицы. С помощью фильтров на левой стороне листа добавляйте или удаляйте модели и метрики по мере необходимости.

Сравнение оценок, полученных на основе отложенных данных и оценок, полученных в ходе перекрестной проверки

На листе Сведения отображаются метрики на основе автоматически отложенных данных, которые используются для проверки производительности модели после обучения. Также можно добавить метрики данных для обучения в таблицу Метрики модели для сравнения с оценками на основе отложенных данных. Эти оценки часто будут схожими, но если они значительно различаются, то, скорее всего, существует проблема утечки данных или переобучения.

Выполните следующие действия.

1. На вкладке Сравнение откройте лист Сведения.

2. В разделе Столбцы для отображения слева на листе разверните фильтр Метрики.

3. Устанавливайте и снимайте флажки, чтобы изменить столбцы необходимым образом. Метрики данных для обучения можно добавить в виде столбцов.

Столбцы добавляются в таблицу Метрики модели.