Анализ метрик кросс-валидации

Теперь, когда вы выполнили кросс-валидацию, пришло время проанализировать результаты.

Вы выведете среднее значение, стандартное отклонение и 95%-й доверительный интервал для cv_results — этот массив уже загружен из предыдущего упражнения.

Библиотека numpy импортирована для вас как np.

Это упражнение является частью курса

Обучение с учителем с помощью scikit-learn

Посмотреть курс

Инструкции к упражнению

Вычислите и выведите среднее значение результатов.
Вычислите и выведите стандартное отклонение cv_results.
Выведите 95%-й доверительный интервал для результатов с помощью np.quantile().

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Print the mean
print(____(____))

# Print the standard deviation
print(____(____))

# Print the 95% confidence interval
print(____(____, [____, ____]))

Редактировать и запускать код

Это упражнение является частью курса

Обучение с учителем с помощью scikit-learn

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы познакомитесь с задачами классификации и научитесь решать их с помощью методов обучения с учителем. Вы узнаете, как разбивать данные на обучающую и тестовую выборки, обучать модель, делать прогнозы и оценивать точность. Вы изучите связь между сложностью модели и её качеством и применит полученные знания на наборе данных об оттоке клиентов, где предстоит определить, покинет ли клиент телекоммуникационную компанию.

Exercise 1: Машинное обучение с scikit-learn Exercise 2: Бинарная классификация Exercise 3: Рабочий процесс обучения с учителем Exercise 4: Задача классификации Exercise 5: k-ближайших соседей: обучение модели Exercise 6: Метод k ближайших соседей: предсказание Exercise 7: Оценка качества модели Exercise 8: Разбивка на обучающую и тестовую выборки + вычисление точности Exercise 9: Переобучение и недообучение Exercise 10: Визуализация сложности модели

В этой главе вы познакомитесь с регрессией и построите модели для прогнозирования объёма продаж на основе данных о рекламных расходах. Вы изучите принципы линейной регрессии и распространённые метрики качества, такие как R-квадрат и среднеквадратичная ошибка. Вы выполните k-кратную перекрёстную проверку и применит регуляризацию к регрессионным моделям, чтобы снизить риск переобучения.

Exercise 1: Введение в регрессию Exercise 2: Создание признаков Exercise 3: Построение модели линейной регрессии Exercise 4: Визуализация модели линейной регрессии Exercise 5: Основы линейной регрессии Exercise 6: Обучение и предсказание для регрессии Exercise 7: Качество регрессии Exercise 8: Перекрёстная проверка Exercise 9: Перекрёстная проверка для R-квадрата Exercise 10: Анализ метрик кросс-валидации

Текущее упражнение

Exercise 11: Регуляризованная регрессия Exercise 12: Регуляризованная регрессия: Ridge Exercise 13: Лассо-регрессия для оценки важности признаков

Обучив модели, вы научитесь их оценивать. В этой главе вы познакомитесь с несколькими метриками и методом визуализации для анализа качества моделей классификации с помощью scikit-learn. Вы также узнаете, как оптимизировать модели классификации и регрессии с помощью подбора гиперпараметров.

Exercise 1: Насколько хороша ваша модель?Exercise 2: Выбор основной метрики Exercise 3: Оценка классификатора для предсказания диабета Exercise 4: Логистическая регрессия и ROC-кривая Exercise 5: Построение модели логистической регрессии Exercise 6: ROC-кривая Exercise 7: ROC AUC Exercise 8: Подбор гиперпараметров Exercise 9: Подбор гиперпараметров с помощью GridSearchCV Exercise 10: Настройка гиперпараметров с помощью RandomizedSearchCV

Узнайте, как заполнять пропущенные значения, преобразовывать категориальные данные в числовые, масштабировать данные, одновременно оценивать несколько моделей обучения с учителем и строить конвейеры для автоматизации рабочего процесса!

Exercise 1: Предобработка данных Exercise 2: Создание фиктивных переменных Exercise 3: Регрессия с категориальными признаками Exercise 4: Работа с пропущенными значениями Exercise 5: Удаление пропущенных значений Exercise 6: Конвейер для предсказания жанра песни: часть I Exercise 7: Конвейер для определения жанра песни: II Exercise 8: Центрирование и масштабирование Exercise 9: Центрирование и масштабирование для регрессии Exercise 10: Масштабирование и центрирование для классификации Exercise 11: Оценка нескольких моделей Exercise 12: Визуализация качества регрессионных моделей Exercise 13: Предсказание на тестовой выборке Exercise 14: Визуализация результатов моделей классификации Exercise 15: Конвейер для прогнозирования популярности песен Exercise 16: Поздравляем!