Definiowanie schematu

Zdefiniowanie schematu poprawia jakość danych i wydajność ich wczytywania. Jak omówiono w lekcji, stworzymy prosty schemat do odczytu następujących kolumn:

Name
Age
City

Kolumny Name i City są typu StringType(), a kolumna Age jest typu IntegerType().

To ćwiczenie jest częścią kursu

Czyszczenie danych w PySpark

Zobacz kurs

Instrukcje do ćwiczenia

Zaimportuj * z biblioteki pyspark.sql.types.
Zdefiniuj nowy schemat za pomocą metody StructType.
Zdefiniuj StructField dla pól name, age i city. Każde pole powinno odpowiadać właściwemu typowi danych i nie powinno dopuszczać wartości nullable.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import the pyspark.sql.types library
____

# Define a new schema using the StructType method
people_schema = ____([
  # Define a StructField for each field
  StructField('name', ____, False),
  ____('____', IntegerType(), ____)
  ____
])

Edytuj i uruchom kod