Поиск пропущенных значений

Выявление пропущенных значений — важный шаг в анализе данных. Используя тот же набор данных, вы определите общее количество пропущенных значений, перебирая строки и столбцы. После обнаружения пропусков необходимо применить методы их обработки, например Imputer из библиотеки sklearn. Без обработки пропущенных значений корректное прогнозирование CTR будет затруднено.

Выборка данных загружена в DataFrame с именем df. Библиотека pandas доступна в рабочей среде под псевдонимом pd.

Это упражнение является частью курса

Прогнозирование CTR с помощью машинного обучения на Python

Посмотреть курс

Инструкции к упражнению

Выведите краткую информацию о столбцах с помощью .info().
Выведите пропущенные значения по столбцам, используя .isnull() (не забудьте про скобки!).
Выведите общее количество пропущенных значений по строкам, используя axis = 1 и .sum().

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Print info
print(df.____)

# Print missing values by column 
print(df.____.sum(____ = 0))

# Print total number of missing values in rows
print(df.____.sum(____ = 1).____)

Редактировать и запускать код

Это упражнение является частью курса

Прогнозирование CTR с помощью машинного обучения на Python

SkillTag.level.intermediateSkillTag.label

4.9+

Начать курс бесплатно

Скорее всего, вы попали на эту страницу, перейдя по ссылке. В этой главе вы узнаете, почему коэффициент кликабельности (CTR) играет ключевую роль в таргетированной рекламе, научитесь выполнять базовые операции с DataFrame и познакомитесь с применением моделей машинного обучения для прогнозирования CTR.

Exercise 1: Введение в показатели кликабельности Exercise 2: Первые шаги Exercise 3: Исследование признаков Exercise 4: Первичный анализ данных Exercise 5: Обзор моделей машинного обучения Exercise 6: Логистическая регрессия для диагностики рака молочной железы Exercise 7: Логистическая регрессия для изображений Exercise 8: Вторая учебная модель Exercise 9: Прогнозирование CTR с помощью деревьев решений Exercise 10: Реализация модели Exercise 11: Первая модель предсказания CTR Exercise 12: За пределами точности

Эта глава закладывает основы разведочного анализа данных (EDA). Работая с учебными данными, вы будете использовать библиотеку pandas для изучения столбцов и типов данных, анализа пропущенных значений, а также применять хеширование для конструирования признаков из категориальных переменных. Всё это важно при подготовке признаков для более точного прогнозирования CTR.

Exercise 1: Разведочный анализ данных Exercise 2: Первый взгляд на данные Exercise 3: Поиск пропущенных значений

Текущее упражнение

Exercise 4: Распределения по CTR Exercise 5: Разработка признаков Exercise 6: Анализ столбцов с датой и временем Exercise 7: Преобразование категориальных переменных Exercise 8: Создание новых признаков Exercise 9: Стандартизация признаков Exercise 10: Логарифмическая нормализация Exercise 11: Понимание стандартизации Exercise 12: Стандартизация признаков

Пора погрузиться глубже. Вы узнаете, как использовать метрики качества модели — точность и полноту — для решения практических задач, например оценки рентабельности рекламных расходов. Кроме того, вы освоите способы улучшения этих метрик: ансамблевые методы и подбор гиперпараметров.

Exercise 1: Применение метрик оценки Exercise 2: Четыре категории исходов Exercise 3: Оценка четырёх категорий результатов Exercise 4: ROI от расходов на рекламу Exercise 5: Оценка модели Exercise 6: Точность и полнота Exercise 7: Базовая модель Exercise 8: Сравнение классификаторов Exercise 9: Настройка моделей Exercise 10: Регуляризация Exercise 11: Кросс-валидация Exercise 12: Выбор модели Exercise 13: Ансамблевые методы и настройка гиперпараметров Exercise 14: Понимание настройки гиперпараметров Exercise 15: Случайные леса Exercise 16: Поиск по сетке

CTR рекламной кампании напрямую влияет на прибыль. В этой главе вы узнаете, как глубокое обучение помогает снизить сопутствующие риски. Основное внимание уделяется многослойному перцептрону (MLP) и нейронным сетям — вы увидите, как они улавливают сложные зависимости между переменными для более точного прогнозирования CTR. В завершение вы изучите основы подбора гиперпараметров и регуляризации применительно к задачам классификации.

Exercise 1: Введение в глубокое обучение Exercise 2: Понимание многослойных перцептронов Exercise 3: Первая модель Exercise 4: МЛП для предсказания CTR Exercise 5: Подбор гиперпараметров в глубоком обучении Exercise 6: Подбор гиперпараметров в многослойных перцептронах Exercise 7: Изменение гиперпараметров Exercise 8: Поиск по сетке для MLP Exercise 9: Оценка модели Exercise 10: F-beta-мера Exercise 11: Низкая точность и высокий AUC Exercise 12: Точность, ROI и AUC Exercise 13: Обзор и сравнение моделей Exercise 14: Сравнение моделей: разминка Exercise 15: Оценка точности и ROI Exercise 16: Полная оценка моделей Exercise 17: Заключительное видео