Только для членов

В ходе курса вы уже познакомились с рядом проблем, которые могут возникать в «грязных» данных: ограничения на тип данных, ограничения на диапазон значений, ограничения уникальности и ограничения на допустимые значения. Важно уметь правильно определять тип проблемы, чтобы устранить её подходящим способом. В этом упражнении вы потренируетесь распознавать такие проблемы, сопоставляя сценарии с «грязными» данными с соответствующим типом ограничения.

Это упражнение является частью курса

Очистка данных в R

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Очистка данных в R

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы научитесь справляться с наиболее распространёнными проблемами «грязных» данных. Вы будете преобразовывать типы данных, применять ограничения диапазона для исключения будущих значений и удалять дубликаты, чтобы избежать двойного подсчёта.

Exercise 1: Ограничения типов данных Exercise 2: Распространённые типы данных Exercise 3: Преобразование типов данных Exercise 4: Обрезка строк Exercise 5: Ограничения диапазона Exercise 6: Ограничения продолжительности поездки Exercise 7: Назад в будущее Exercise 8: Ограничения уникальности Exercise 9: Полные дубликаты Exercise 10: Удаление частичных дубликатов Exercise 11: Агрегирование частичных дубликатов

Категориальные и текстовые данные зачастую оказываются самой неструктурированной частью набора данных. В этой главе вы узнаете, как устранять лишние пробелы и несоответствия в регистре меток категорий, объединять несколько категорий в одну и приводить строки к единообразному формату.

Exercise 1: Проверка принадлежности Exercise 2: Только для членов

Текущее упражнение

Exercise 3: Не входит в список Exercise 4: Проблемы с категориальными данными Exercise 5: Выявление несоответствий Exercise 6: Исправление несогласованности Exercise 7: Объединение категорий Exercise 8: Очистка текстовых данных Exercise 9: Обнаружение несогласованных текстовых данных Exercise 10: Замена и удаление Exercise 11: Недействительные номера телефонов

В этой главе вы займётесь более сложными задачами очистки данных — например, убедитесь, что все значения веса указаны в килограммах, а не в фунтах. Вы также приобретёте ценные навыки проверки правильности добавления значений и работы с пропущенными данными, чтобы они не искажали результаты анализа.

Exercise 1: Единообразие Exercise 2: Единообразие дат Exercise 3: Единообразие валют Exercise 4: Перекрёстная проверка полей Exercise 5: Проверка итоговых сумм Exercise 6: Проверка возраста аккаунтов Exercise 7: Полнота данных Exercise 8: Типы пропущенных данных Exercise 9: Визуализация пропущенных значений Exercise 10: Обработка пропущенных значений

Связывание записей — это мощная техника объединения нескольких наборов данных, которая применяется в случаях, когда значения содержат опечатки или различаются по написанию. В этой главе вы научитесь связывать записи, вычисляя степень сходства строк, а затем используете эти навыки, чтобы объединить два набора данных с отзывами о ресторанах в один итоговый набор.

Exercise 1: Сравнение строк Exercise 2: Вычисление расстояния Exercise 3: Маленькое расстояние — маленькое различие Exercise 4: Исправление опечаток с помощью строкового расстояния Exercise 5: Генерация и сравнение пар Exercise 6: Связывание записей или объединение?Exercise 7: Блокировка пар Exercise 8: Сравнение пар Exercise 9: Оценка и связывание записей Exercise 10: Сначала оценить, потом отобрать — или наоборот?Exercise 11: Собираем всё вместе Exercise 12: Поздравляем!