Навіщо використовувати відкладені вибірки (holdout sets)

Важливо розуміти, коли слід використовувати три вибірки (тренувальну, валідаційну та тестову) замість двох (тренувальної та тестової). Немає сенсу створювати додатковий розподіл, якщо ви не плануєте ним користуватися.

Коли варто розглянути використання тренувальної, валідаційної й тестової вибірок?

Ця вправа є частиною курсу

Валідація моделей у Python

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

Валідація моделей у Python

SkillTag.level.intermediateSkillTag.label

4.9+

Почніть курс безкоштовно

Перш ніж валідовувати моделі, потрібно зрозуміти, як їх створювати та з ними працювати. У цьому розділі подано вступ до запуску моделей регресії та класифікації в scikit-learn. Ми використовуватимемо цю базу побудови моделей упродовж решти розділів.

Exercise 1: Вступ до валідації моделей Exercise 2: Кроки моделювання Exercise 3: Побачені vs. непобачені дані Exercise 4: Моделі регресії Exercise 5: Задайте параметри та навчіть модель Exercise 6: Важливості ознак Exercise 7: Моделі класифікації Exercise 8: Класифікаційні передбачення Exercise 9: Повторне використання параметрів моделі Exercise 10: Класифікатор Random Forest

Цей розділ зосереджений на основах валідації моделей. Від поділу даних на тренувальний, валідаційний і тестовий набори — до розуміння компромісу зміщення–дисперсія — ми закладаємо основу для методів K-Fold і Leave-One-Out, які практикуватимемо в третьому розділі.

Exercise 1: Створення тренувальної, тестової та валідаційної вибірок Exercise 2: Створіть один holdout-набір Exercise 3: Створіть дві відкладені вибірки Exercise 4: Навіщо використовувати відкладені вибірки (holdout sets)

Поточна вправа

Exercise 5: Метрики точності: регресійні моделі Exercise 6: Середня абсолютна похибка Exercise 7: Середньоквадратична помилка Exercise 8: Ефективність на підмножинах даних Exercise 9: Метрики класифікації Exercise 10: Матриці помилок (confusion matrices)Exercise 11: Ще раз про матриці неточностей Exercise 12: Precision проти recall Exercise 13: Компроміс між зміщенням і дисперсією Exercise 14: Помилка через недо-/переобучення Exercise 15: Чи є в мене недонавчання?

Відкладені вибірки — чудовий початок для валідації моделей. Однак одного тренувального та тестового набору часто недостатньо. Крос-валідація вважається золотим стандартом для перевірки якості моделі та майже завжди використовується під час налаштування гіперпараметрів. У цьому розділі ми зосередимося на виконанні крос-валідації для оцінювання роботи моделі.

Exercise 1: Проблеми з holdout-набірками Exercise 2: Дві вибірки Exercise 3: Можливі проблеми Exercise 4: Крос-валідація Exercise 5: `KFold()` у scikit-learn Exercise 6: Використання індексів KFold Exercise 7: sklearn: функція cross_val_score()Exercise 8: Методи scikit-learn Exercise 9: Реалізуйте cross_val_score()Exercise 10: Покрокова кросвальдація LOOCV (leave-one-out cross-validation)Exercise 11: Коли варто використовувати LOOCV Exercise 12: Leave-one-out cross-validation

Перші три розділи були присвячені технікам валідації моделей. У четвертому розділі ми застосуємо ці методи, зокрема крос-валідацію, вивчаючи налаштування гіперпараметрів. Адже саме валідація робить налаштування можливим і допомагає обрати загалом найкращу модель.

Exercise 1: Вступ до налаштування гіперпараметрів Exercise 2: Створення гіперпараметрів Exercise 3: Запуск моделі з використанням діапазонів Exercise 4: RandomizedSearchCV Exercise 5: Підготовка до RandomizedSearch Exercise 6: Реалізація RandomizedSearchCV Exercise 7: Вибір фінальної моделі Exercise 8: Найкраща точність класифікації Exercise 9: Вибір моделі з найкращою precision Exercise 10: Курс завершено!