Ефективність на підмножинах даних

У професійному баскетболі є дві конференції — Східна та Західна. Тренери й уболівальники часто цікавляться насамперед тим, як цього року виступатимуть команди саме їхньої конференції.

Ви працюєте над моделлю прогнозування для НБА і хочете з'ясувати, чи кращими були прогнози для Східної чи Західної конференції. Ви додали до даних третій масив labels, який містить «E» для східних команд і «W» для західних. Масиви y_test і predictions уже завантажені для вашого використання.

Ця вправа є частиною курсу

Валідація моделей у Python

Переглянути курс

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Find the East conference teams
east_teams = ____ == ____

Редагувати та запускати код

Ця вправа є частиною курсу

Валідація моделей у Python

SkillTag.level.intermediateSkillTag.label

4.9+

Почніть курс безкоштовно

Перш ніж валідовувати моделі, потрібно зрозуміти, як їх створювати та з ними працювати. У цьому розділі подано вступ до запуску моделей регресії та класифікації в scikit-learn. Ми використовуватимемо цю базу побудови моделей упродовж решти розділів.

Exercise 1: Вступ до валідації моделей Exercise 2: Кроки моделювання Exercise 3: Побачені vs. непобачені дані Exercise 4: Моделі регресії Exercise 5: Задайте параметри та навчіть модель Exercise 6: Важливості ознак Exercise 7: Моделі класифікації Exercise 8: Класифікаційні передбачення Exercise 9: Повторне використання параметрів моделі Exercise 10: Класифікатор Random Forest

Цей розділ зосереджений на основах валідації моделей. Від поділу даних на тренувальний, валідаційний і тестовий набори — до розуміння компромісу зміщення–дисперсія — ми закладаємо основу для методів K-Fold і Leave-One-Out, які практикуватимемо в третьому розділі.

Exercise 1: Створення тренувальної, тестової та валідаційної вибірок Exercise 2: Створіть один holdout-набір Exercise 3: Створіть дві відкладені вибірки Exercise 4: Навіщо використовувати відкладені вибірки (holdout sets)Exercise 5: Метрики точності: регресійні моделі Exercise 6: Середня абсолютна похибка Exercise 7: Середньоквадратична помилка Exercise 8: Ефективність на підмножинах даних

Поточна вправа

Exercise 9: Метрики класифікації Exercise 10: Матриці помилок (confusion matrices)Exercise 11: Ще раз про матриці неточностей Exercise 12: Precision проти recall Exercise 13: Компроміс між зміщенням і дисперсією Exercise 14: Помилка через недо-/переобучення Exercise 15: Чи є в мене недонавчання?

Відкладені вибірки — чудовий початок для валідації моделей. Однак одного тренувального та тестового набору часто недостатньо. Крос-валідація вважається золотим стандартом для перевірки якості моделі та майже завжди використовується під час налаштування гіперпараметрів. У цьому розділі ми зосередимося на виконанні крос-валідації для оцінювання роботи моделі.

Exercise 1: Проблеми з holdout-набірками Exercise 2: Дві вибірки Exercise 3: Можливі проблеми Exercise 4: Крос-валідація Exercise 5: `KFold()` у scikit-learn Exercise 6: Використання індексів KFold Exercise 7: sklearn: функція cross_val_score()Exercise 8: Методи scikit-learn Exercise 9: Реалізуйте cross_val_score()Exercise 10: Покрокова кросвальдація LOOCV (leave-one-out cross-validation)Exercise 11: Коли варто використовувати LOOCV Exercise 12: Leave-one-out cross-validation

Перші три розділи були присвячені технікам валідації моделей. У четвертому розділі ми застосуємо ці методи, зокрема крос-валідацію, вивчаючи налаштування гіперпараметрів. Адже саме валідація робить налаштування можливим і допомагає обрати загалом найкращу модель.

Exercise 1: Вступ до налаштування гіперпараметрів Exercise 2: Створення гіперпараметрів Exercise 3: Запуск моделі з використанням діапазонів Exercise 4: RandomizedSearchCV Exercise 5: Підготовка до RandomizedSearch Exercise 6: Реалізація RandomizedSearchCV Exercise 7: Вибір фінальної моделі Exercise 8: Найкраща точність класифікації Exercise 9: Вибір моделі з найкращою precision Exercise 10: Курс завершено!