Изучение данных в DataFrame PySpark

Прежде чем приступать к анализу — построению графиков, моделированию, обучению и т. д. — важно внимательно изучить данные. В этом упражнении вы исследуете данные в DataFrame people_df, который был создан в предыдущем упражнении, с помощью базовых операторов DataFrame.

Напомним, что в вашем рабочем пространстве уже доступны SparkSession spark и DataFrame people_df.

Это упражнение является частью курса

Основы Big Data с PySpark

Посмотреть курс

Инструкции к упражнению

Выведите первые 10 наблюдений из DataFrame people_df.
Подсчитайте количество строк в DataFrame people_df.
Сколько столбцов содержит DataFrame people_df и как они называются?

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Print the first 10 observations 
people_df.____(10)

# Count the number of rows 
print("There are {} rows in the people_df DataFrame.".format(people_df.____()))

# Count the number of columns and print their names
print("There are {} columns in the people_df DataFrame and their names are {}".format(len(people_df.____), people_df.____))

Редактировать и запускать код