Визуализация пропущенных значений

Работа с пропущенными данными — одна из самых распространённых задач в data science. Существуют различные типы пропусков, а также различные способы их обработки.

Вы только что получили новую версию набора данных accounts, содержащую информацию о сумме на счёте и сумме инвестиций для новых и существующих клиентов. Однако в некоторых строках отсутствуют значения inv_amount.

Вы знаете, что у большинства клиентов моложе 25 лет инвестиционных счетов ещё нет, и предполагаете, что именно это может быть причиной пропусков. Пакеты dplyr и visdat уже загружены, набор данных accounts доступен.

Это упражнение является частью курса

Очистка данных в R

Посмотреть курс

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Visualize the missing values by column
___

Редактировать и запускать код

Это упражнение является частью курса

Очистка данных в R

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы научитесь справляться с наиболее распространёнными проблемами «грязных» данных. Вы будете преобразовывать типы данных, применять ограничения диапазона для исключения будущих значений и удалять дубликаты, чтобы избежать двойного подсчёта.

Exercise 1: Ограничения типов данных Exercise 2: Распространённые типы данных Exercise 3: Преобразование типов данных Exercise 4: Обрезка строк Exercise 5: Ограничения диапазона Exercise 6: Ограничения продолжительности поездки Exercise 7: Назад в будущее Exercise 8: Ограничения уникальности Exercise 9: Полные дубликаты Exercise 10: Удаление частичных дубликатов Exercise 11: Агрегирование частичных дубликатов

Категориальные и текстовые данные зачастую оказываются самой неструктурированной частью набора данных. В этой главе вы узнаете, как устранять лишние пробелы и несоответствия в регистре меток категорий, объединять несколько категорий в одну и приводить строки к единообразному формату.

Exercise 1: Проверка принадлежности Exercise 2: Только для членов Exercise 3: Не входит в список Exercise 4: Проблемы с категориальными данными Exercise 5: Выявление несоответствий Exercise 6: Исправление несогласованности Exercise 7: Объединение категорий Exercise 8: Очистка текстовых данных Exercise 9: Обнаружение несогласованных текстовых данных Exercise 10: Замена и удаление Exercise 11: Недействительные номера телефонов

В этой главе вы займётесь более сложными задачами очистки данных — например, убедитесь, что все значения веса указаны в килограммах, а не в фунтах. Вы также приобретёте ценные навыки проверки правильности добавления значений и работы с пропущенными данными, чтобы они не искажали результаты анализа.

Exercise 1: Единообразие Exercise 2: Единообразие дат Exercise 3: Единообразие валют Exercise 4: Перекрёстная проверка полей Exercise 5: Проверка итоговых сумм Exercise 6: Проверка возраста аккаунтов Exercise 7: Полнота данных Exercise 8: Типы пропущенных данных Exercise 9: Визуализация пропущенных значений

Текущее упражнение

Exercise 10: Обработка пропущенных значений

Связывание записей — это мощная техника объединения нескольких наборов данных, которая применяется в случаях, когда значения содержат опечатки или различаются по написанию. В этой главе вы научитесь связывать записи, вычисляя степень сходства строк, а затем используете эти навыки, чтобы объединить два набора данных с отзывами о ресторанах в один итоговый набор.

Exercise 1: Сравнение строк Exercise 2: Вычисление расстояния Exercise 3: Маленькое расстояние — маленькое различие Exercise 4: Исправление опечаток с помощью строкового расстояния Exercise 5: Генерация и сравнение пар Exercise 6: Связывание записей или объединение?Exercise 7: Блокировка пар Exercise 8: Сравнение пар Exercise 9: Оценка и связывание записей Exercise 10: Сначала оценить, потом отобрать — или наоборот?Exercise 11: Собираем всё вместе Exercise 12: Поздравляем!