Eksploracja danych w DataFrame PySpark

Dokładna eksploracja danych przed analizą – taką jak wizualizacja, modelowanie czy trenowanie – jest niezwykle ważna. W tym ćwiczeniu przyjrzysz się danym w DataFrame people_df, który został utworzony w poprzednim ćwiczeniu, korzystając z podstawowych operatorów DataFrame.

Pamiętaj, że masz już dostęp do SparkSession spark oraz DataFrame people_df w swoim środowisku pracy.

To ćwiczenie jest częścią kursu

Podstawy Big Data z PySpark

Zobacz kurs

Instrukcje do ćwiczenia

Wyświetl pierwsze 10 obserwacji z DataFrame people_df.
Policz liczbę wierszy w DataFrame people_df.
Ile kolumn ma DataFrame people_df i jak się nazywają?

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Print the first 10 observations 
people_df.____(10)

# Count the number of rows 
print("There are {} rows in the people_df DataFrame.".format(people_df.____()))

# Count the number of columns and print their names
print("There are {} columns in the people_df DataFrame and their names are {}".format(len(people_df.____), people_df.____))

Edytuj i uruchom kod