Первые визуализации пропущенных данных

Бывает непросто разобраться, где именно в данных находятся пропущенные значения, — и здесь на помощь приходит визуализация.

Функция vis_miss() строит обзорную визуализацию пропусков в данных. Она также поддерживает кластеризацию строк по пропускам с помощью параметра cluster = TRUE, а также сортировку столбцов от наибольшего числа пропусков к наименьшему (sort_miss = TRUE).

Это упражнение является частью курса

Работа с пропущенными данными в R

Посмотреть курс

Инструкции к упражнению

Используя набор данных riskfactors из пакета naniar:

Примените vis_miss(), чтобы визуализировать пропуски в данных.
Примените vis_miss() с параметром cluster = TRUE, чтобы исследовать кластеры пропущенных значений.
Примените vis_miss() с параметром sort_miss, чтобы упорядочить столбцы по количеству пропусков.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Visualize all of the missingness in the `riskfactors`  dataset
vis_miss(___)

# Visualize and cluster all of the missingness in the `riskfactors` dataset
vis_miss(___, ___ = TRUE)

# visualize and sort the columns by missingness in the `riskfactors` dataset
vis_miss(___, ___ = TRUE)

Редактировать и запускать код

Это упражнение является частью курса

Работа с пропущенными данными в R

SkillTag.level.beginnerSkillTag.label

4.8+

Начать курс бесплатно

В первой главе вы познакомитесь с пропущенными данными: узнаете, что такое пропущенные значения, как они ведут себя в R, как их обнаружить и подсчитать. Затем мы рассмотрим сводные характеристики пропущенности и научимся обобщать информацию о пропусках по наблюдениям, переменным и группам внутри данных. В завершение мы обсудим визуализацию пропущенных данных: как создавать обзорные графики для всего набора данных, а также по переменным, наблюдениям и другим сводным показателям — и как исследовать всё это в разрезе групп.

Exercise 1: Введение в пропущенные данные Exercise 2: Работа с пропущенными значениями и их обнаружение Exercise 3: Сколько пропущенных значений?Exercise 4: Работа с пропущенными значениями Exercise 5: Зачем обращать внимание на пропущенные значения?Exercise 6: Сводка по пропущенным значениям Exercise 7: Таблицы пропущенных значений Exercise 8: Другие сводки пропущенных значений Exercise 9: Как визуализировать пропущенные значения?Exercise 10: Первые визуализации пропущенных данных

Текущее упражнение

Exercise 11: Визуализация пропущенных значений по наблюдениям и переменным Exercise 12: Визуализация паттернов пропущенных данных

Во второй главе вы научитесь выявлять скрытые пропущенные значения — такие как `"missing"` или `"N/A"` — и заменять их на `NA`. Вы узнаете, как эффективно работать с неявными пропусками — теми значениями, которые подразумеваются пропущенными, но явно не указаны. Мы также рассмотрим зависимость пропущенных данных: разберём понятия «пропущено полностью случайно» (MCAR), «пропущено случайно» (MAR) и «пропущено неслучайно» (MNAR) и обсудим, что каждое из них означает для вашего анализа.

Exercise 1: Поиск и замена пропущенных значений Exercise 2: Использование miss_scan_count Exercise 3: Использование replace_with_na Exercise 4: Использование расширенных вариантов replace_with_na Exercise 5: Заполнение пропущенных значений вниз Exercise 6: Исправление неявных пропусков с помощью complete()Exercise 7: Исправление явных пропусков с помощью fill()Exercise 8: Совместное использование complete() и fill()Exercise 9: Зависимость пропущенных данных Exercise 10: Различия между MCAR и MAR Exercise 11: Исследование зависимости пропущенных значений Exercise 12: Дальнейшее исследование зависимости пропущенных значений

В этой главе вы познакомитесь с рабочими процессами для анализа пропущенных данных. Мы введём специальные структуры данных — матрицу теней и набор данных nabular — и покажем, как применять их в рабочих процессах, чтобы связывать сводные характеристики пропущенности с реальными значениями в данных. Вы научитесь использовать ggplot для исследования и визуализации того, как изменяются значения при появлении пропусков в других переменных. В завершение вы освоите визуализацию пропущенности по двум переменным и узнаете, как и зачем отображать пропуски на диаграмме рассеяния.

Exercise 1: Инструменты для изучения зависимостей пропущенных данных Exercise 2: Создание данных теневой матрицы Exercise 3: Групповые сводки на основе пропущенных значений Exercise 4: Дополнительное исследование комбинаций пропущенных значений Exercise 5: Визуализация пропущенных значений по одной переменной Exercise 6: Набулярные данные и разбивка по пропущенным значениям Exercise 7: Набулярные данные и агрегирование по пропущенным значениям Exercise 8: Исследование вариации по пропущенным значениям: ящики с усами Exercise 9: Визуализация пропущенных значений по двум переменным Exercise 10: Исследование пропущенных значений с помощью диаграмм рассеяния Exercise 11: Использование фасетов для изучения пропущенных значений Exercise 12: Фасетирование для анализа пропущенных значений (несколько графиков)

В этой главе вы изучите заполнение пропущенных значений в данных — процесс, называемый импутацией. Вы узнаете, как выполнять импутацию и отслеживать пропущенные значения, а также разберёте достоинства и недостатки различных подходов к восстановлению данных. Это позволит вам исследовать, визуализировать и оценивать восстановленные данные в сравнении с исходными значениями. Наконец, вы научитесь применять, оценивать и сравнивать различные модели импутации и изучите, как выбор модели влияет на выводы, которые можно сделать из данных.

Exercise 1: Заполняем пробелы Exercise 2: Импутация данных ниже диапазона с использованием nabular-данных Exercise 3: Визуализация импутированных значений на точечном графике Exercise 4: Построение гистограммы по импутированным данным Exercise 5: Что делает импутацию качественной Exercise 6: Оценка неудачных импутаций Exercise 7: Оценка импутации: масштаб данных Exercise 8: Оценка импутаций: анализ множества переменных Exercise 9: Выполнение импутации Exercise 10: Импутация данных с помощью simputation Exercise 11: Оценка и сравнение моделей импутации Exercise 12: Оценка импутаций (несколько моделей и переменных)Exercise 13: Оценка импутаций и моделей Exercise 14: Объединение и сравнение нескольких моделей импутации Exercise 15: Оценка различных параметров модели Exercise 16: Заключительный урок