Оценка таблицы лидеров

Функция AutoML в H2O возвращает результаты работы моделей в виде так называемой таблицы лидеров. Без кросс-валидации — какие наборы данных необходимо задать, чтобы:

использовать обучающие данные в исходном виде
использовать половину валидационных данных для валидации
а другую половину валидационных данных — для оценки таблицы лидеров

Это упражнение является частью курса

Настройка гиперпараметров в R

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Настройка гиперпараметров в R

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

Почему используется странное слово «гиперпараметр»? Что делает его «гипер»? В этой главе вы узнаете, что такое параметры модели и чем они отличаются от гиперпараметров в машинном обучении. Вы увидите, зачем нужна их настройка и как стандартные параметры пакета caret автоматически включают подбор гиперпараметров.

Exercise 1: Параметры и гиперпараметры Exercise 2: Параметры модели и гиперпараметры Exercise 3: Гиперпараметры в линейных моделях Exercise 4: Что такое коэффициенты?Exercise 5: Краткое повторение основ машинного обучения Exercise 6: Машинное обучение с caret Exercise 7: Схемы повторной выборки Exercise 8: Настройка гиперпараметров в caret Exercise 9: Гиперпараметры стохастического градиентного бустинга Exercise 10: Изменение количества гиперпараметров для настройки Exercise 11: Настройка гиперпараметров вручную

В этой главе вы научитесь настраивать гиперпараметры с помощью декартовой сетки, а затем освоите более быстрые и эффективные подходы. Вы воспользуетесь случайным поиском и адаптивным ресэмплингом для перебора сетки параметров, сосредоточившись на значениях вблизи оптимальных настроек.

Exercise 1: Настройка гиперпараметров в caret Exercise 2: Поиск гиперпараметров Exercise 3: Картезианский поиск по сетке в caret Exercise 4: Визуализация результатов подбора гиперпараметров модели Exercise 5: Сеточный поиск и случайный поиск Exercise 6: Поиск по сетке с диапазоном гиперпараметров Exercise 7: Найдите параметр функции train() для случайного поиска Exercise 8: Случайный поиск в caret Exercise 9: Адаптивное повторное сэмплирование Exercise 10: Преимущества адаптивного ресэмплинга Exercise 11: Адаптивная повторная выборка с caret

В этой главе вы будете использовать ещё один пакет для машинного обучения с удобными функциями настройки гиперпараметров. Вы определите декартову сетку или выполните случайный поиск, а также изучите продвинутые техники. Кроме того, вы освоите различные способы визуализации и оценки моделей с разными гиперпараметрами.

Exercise 1: Машинное обучение с mlr Exercise 2: Машинное обучение с mlr Exercise 3: Моделирование с помощью mlr Exercise 4: Сеточный и случайный поиск с mlr Exercise 5: Случайный поиск с mlr Exercise 6: Подбор гиперпараметров с помощью mlr Exercise 7: Оценка гиперпараметров с помощью mlr Exercise 8: Зачем оценивать настройку гиперпараметров?Exercise 9: Оценка результатов настройки гиперпараметров Exercise 10: Продвинутая настройка с mlr Exercise 11: Определение расширенных параметров настройки Exercise 12: Определение агрегированных метрик Exercise 13: Настройка гиперпараметров

В заключительной главе вы будете использовать h2o — ещё один пакет для машинного обучения с удобными функциями настройки гиперпараметров. Вы обучите различные модели и зададите декартову сетку, затем реализуете случайный поиск с критериями остановки. В завершение вы познакомитесь с AutoML — интерфейсом h2o, который позволяет очень быстро и удобно выбирать модели и настраивать гиперпараметры с помощью всего одной функции.

Exercise 1: Машинное обучение с h2o Exercise 2: Подготовка данных для моделирования с помощью h2o Exercise 3: Построение моделей с h2o Exercise 4: Сеточный и случайный поиск с h2o Exercise 5: Поиск по сетке с h2o Exercise 6: Случайный поиск с h2o Exercise 7: Критерии остановки Exercise 8: Автоматическое машинное обучение с H2O Exercise 9: AutoML в h2o Exercise 10: Оценка таблицы лидеров

Текущее упражнение

Exercise 11: Извлечение моделей h2o и оценка производительности Exercise 12: Подведение итогов