Можливі проблеми

Які з наведених тверджень є ПРАВДИВИМИ щодо можливих проблем з відкладеними вибірками:

A: Використання різних методів розбиття може призвести до різних даних у фінальних відкладених вибірках.
B: Якщо даних мало, точність на відкладеній вибірці може ввести в оману.
C: Проблем немає. Створення однієї тренувальної і тестової вибірок — єдиний спосіб валідувати моделі.
D: Не слід використовувати відкладені вибірки, коли даних мало, адже це зменшує потенційний обсяг тренувальних даних.

Ця вправа є частиною курсу

Валідація моделей у Python

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

Валідація моделей у Python

SkillTag.level.intermediateSkillTag.label

4.9+

Почніть курс безкоштовно

Перш ніж валідовувати моделі, потрібно зрозуміти, як їх створювати та з ними працювати. У цьому розділі подано вступ до запуску моделей регресії та класифікації в scikit-learn. Ми використовуватимемо цю базу побудови моделей упродовж решти розділів.

Exercise 1: Вступ до валідації моделей Exercise 2: Кроки моделювання Exercise 3: Побачені vs. непобачені дані Exercise 4: Моделі регресії Exercise 5: Задайте параметри та навчіть модель Exercise 6: Важливості ознак Exercise 7: Моделі класифікації Exercise 8: Класифікаційні передбачення Exercise 9: Повторне використання параметрів моделі Exercise 10: Класифікатор Random Forest

Цей розділ зосереджений на основах валідації моделей. Від поділу даних на тренувальний, валідаційний і тестовий набори — до розуміння компромісу зміщення–дисперсія — ми закладаємо основу для методів K-Fold і Leave-One-Out, які практикуватимемо в третьому розділі.

Exercise 1: Створення тренувальної, тестової та валідаційної вибірок Exercise 2: Створіть один holdout-набір Exercise 3: Створіть дві відкладені вибірки Exercise 4: Навіщо використовувати відкладені вибірки (holdout sets)Exercise 5: Метрики точності: регресійні моделі Exercise 6: Середня абсолютна похибка Exercise 7: Середньоквадратична помилка Exercise 8: Ефективність на підмножинах даних Exercise 9: Метрики класифікації Exercise 10: Матриці помилок (confusion matrices)Exercise 11: Ще раз про матриці неточностей Exercise 12: Precision проти recall Exercise 13: Компроміс між зміщенням і дисперсією Exercise 14: Помилка через недо-/переобучення Exercise 15: Чи є в мене недонавчання?

Відкладені вибірки — чудовий початок для валідації моделей. Однак одного тренувального та тестового набору часто недостатньо. Крос-валідація вважається золотим стандартом для перевірки якості моделі та майже завжди використовується під час налаштування гіперпараметрів. У цьому розділі ми зосередимося на виконанні крос-валідації для оцінювання роботи моделі.

Exercise 1: Проблеми з holdout-набірками Exercise 2: Дві вибірки Exercise 3: Можливі проблеми

Поточна вправа

Exercise 4: Крос-валідація Exercise 5: `KFold()` у scikit-learn Exercise 6: Використання індексів KFold Exercise 7: sklearn: функція cross_val_score()Exercise 8: Методи scikit-learn Exercise 9: Реалізуйте cross_val_score()Exercise 10: Покрокова кросвальдація LOOCV (leave-one-out cross-validation)Exercise 11: Коли варто використовувати LOOCV Exercise 12: Leave-one-out cross-validation

Перші три розділи були присвячені технікам валідації моделей. У четвертому розділі ми застосуємо ці методи, зокрема крос-валідацію, вивчаючи налаштування гіперпараметрів. Адже саме валідація робить налаштування можливим і допомагає обрати загалом найкращу модель.

Exercise 1: Вступ до налаштування гіперпараметрів Exercise 2: Створення гіперпараметрів Exercise 3: Запуск моделі з використанням діапазонів Exercise 4: RandomizedSearchCV Exercise 5: Підготовка до RandomizedSearch Exercise 6: Реалізація RandomizedSearchCV Exercise 7: Вибір фінальної моделі Exercise 8: Найкраща точність класифікації Exercise 9: Вибір моделі з найкращою precision Exercise 10: Курс завершено!