Загрузка данных переписи населения
Давайте создадим ваш первый DataFrame в PySpark! Файл adult_reduced.csv содержит сведения о группах взрослых по различным демографическим категориям. Данные адаптированы из материалов переписи населения США и включают 32 562 группы.
Загрузим CSV-файл и изучим полученную схему данных.
Словарь данных:
| Переменная | Описание |
|---|---|
| age | Возраст человека |
| education_num | Уровень образования по степени |
| marital_status | Семейное положение |
| occupation | Род занятий |
| income | Категориальный доход |
Это упражнение является частью курса
Введение в PySpark
Инструкции к упражнению
- Создайте DataFrame PySpark из файла
"adult_reduced.csv"с помощью методаspark.read.csv(). - Выведите полученный DataFrame на экран.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Read in the CSV
census_adult = ____.____.____(____)
# Show the DataFrame
census_adult.____