Оцінювання таблиці лідерів

Функція AutoML у H2O повертає результати моделей у так званій таблиці лідерів (leaderboard). Без крос-валідації, які набори даних треба визначити, якщо ви хочете:

використовувати тренувальні дані як є
використати половину валідаційних даних для валідації
а іншу половину валідаційних даних — для оцінювання таблиці лідерів

Ця вправа є частиною курсу

Налаштування гіперпараметрів у R

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

Налаштування гіперпараметрів у R

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

Чому ми використовуємо дивне слово «гіперпараметр»? Що робить його «гіпер»? Тут ви зрозумієте, що таке параметри моделі і чим вони відрізняються від гіперпараметрів у машинному навчанні. Далі ви побачите, навіщо їх налаштовувати і як стандартні налаштування caret автоматично включають тюнінг гіперпараметрів.

Exercise 1: Параметри проти гіперпараметрів Exercise 2: Параметри моделі проти гіперпараметрів Exercise 3: Гіперпараметри в лінійних моделях Exercise 4: Які це коефіцієнти?Exercise 5: Повторення основ машинного навчання Exercise 6: Машинне навчання з caret Exercise 7: Схеми повторної вибірки Exercise 8: Налаштування гіперпараметрів у caret Exercise 9: Гіперпараметри в стохастичному градієнтному бустингу Exercise 10: Зміна кількості гіперпараметрів для налаштування Exercise 11: Налаштування гіперпараметрів вручну

У цьому розділі ви навчитеся налаштовувати гіперпараметри за допомогою декартової ґратки. Потім ви реалізуєте швидші та ефективніші підходи. Ви використаєте Random Search і адаптивне повторне вибіркове оцінювання, щоб налаштувати ґратку параметрів, зосереджуючись на значеннях поблизу оптимальних налаштувань.

Exercise 1: Налаштування гіперпараметрів у caret Exercise 2: Пошук гіперпараметрів Exercise 3: Декартовий пошук по сітці в caret Exercise 4: Побудуйте графік результатів моделі з гіперпараметрами Exercise 5: Grid проти Random Search Exercise 6: Пошук по сітці з діапазоном гіперпараметрів Exercise 7: Знайдіть параметр train() для випадкового пошуку Exercise 8: Випадковий пошук у caret Exercise 9: Адаптивне повторне вибірковування Exercise 10: Переваги Adaptive Resampling Exercise 11: Адаптивне повторне вибірковування (Adaptive Resampling) з caret

Тут ви використаєте ще один пакет для машинного навчання, який має дуже зручні функції для тюнінгу гіперпараметрів. Ви визначите декартову ґратку або виконаєте Random Search, а також застосуєте розширені техніки. Ви також дізнаєтеся різні способи візуалізувати та оцінювати моделі з різними гіперпараметрами.

Exercise 1: Машинне навчання з mlr Exercise 2: Машинне навчання з mlr Exercise 3: Моделювання з mlr Exercise 4: Пошук по сітці та випадковий пошук в mlr Exercise 5: Випадковий пошук з mlr Exercise 6: Виконайте налаштування гіперпараметрів у mlr Exercise 7: Оцінювання гіперпараметрів у mlr Exercise 8: Навіщо оцінювати тюнінг?Exercise 9: Оцінювання результатів налаштування гіперпараметрів Exercise 10: Просунуте налаштування гіперпараметрів з mlr Exercise 11: Визначте розширені параметри налаштування Exercise 12: Визначення агрегованих метрик Exercise 13: Налаштування гіперпараметрів

У фінальному розділі ви використаєте h2o — ще один пакет для машинного навчання з дуже зручними функціями налаштування гіперпараметрів. Ви застосуєте його для тренування різних моделей і визначення декартової ґратки. Потім ви виконаєте Random Search із використанням критеріїв зупинки. Нарешті, ви опануєте AutoML — інтерфейс h2o, який дає змогу дуже швидко й зручно налаштовувати моделі та їхні гіперпараметри однією функцією.

Exercise 1: Машинне навчання з h2o Exercise 2: Підготуйте дані для моделювання з h2o Exercise 3: Моделювання з h2o Exercise 4: Grid і випадковий пошук з h2o Exercise 5: Пошук по сітці з h2o Exercise 6: Випадковий пошук із h2o Exercise 7: Критерії зупинки Exercise 8: Автоматичне машинне навчання з H2O Exercise 9: AutoML у h2o Exercise 10: Оцінювання таблиці лідерів

Поточна вправа

Exercise 11: Витягніть моделі h2o та оцініть якість Exercise 12: Підсумок