Огляд даних у датафреймі PySpark
Перед будь-яким аналізом — візуалізацією, моделюванням, тренуванням тощо — дуже важливо оглянути дані. У цій простій вправі ви переглянете дані в датафреймі people_df, який створили в попередній вправі, використовуючи базові оператори датафрейму.
Пам'ятайте, у вашому робочому середовищі вже доступні SparkSession spark і датафрейм people_df.
Ця вправа є частиною курсу
Основи Big Data з PySpark
Інструкції до вправи
- Виведіть перші 10 спостережень у датафреймі
people_df. - Підрахуйте кількість рядків у датафреймі
people_df. - Скільки стовпців має датафрейм
people_dfі як їх звати?
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Print the first 10 observations
people_df.____(10)
# Count the number of rows
print("There are {} rows in the people_df DataFrame.".format(people_df.____()))
# Count the number of columns and print their names
print("There are {} columns in the people_df DataFrame and their names are {}".format(len(people_df.____), people_df.____))