Začněte nyníZačněte zdarma

Definování schématu

Definované schéma pomáhá zajistit kvalitu dat a zrychlit jejich načítání. Jak jsme si ukázali v lekci, vytvoříme jednoduché schéma pro načtení následujících sloupců:

  • Name
  • Age
  • City

Sloupce Name a City jsou typu StringType() a sloupec Age je typu IntegerType().

Toto cvičení je součástí kurzu

Cleaning Data with PySpark

Zobrazit kurz

Pokyny k cvičení

  • Importuj * z knihovny pyspark.sql.types.
  • Definuj nové schéma pomocí metody StructType.
  • Definuj StructField pro name, age a city. Každé pole by mělo odpovídat správnému datovému typu a nesmí být nullable.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Import the pyspark.sql.types library
____

# Define a new schema using the StructType method
people_schema = ____([
  # Define a StructField for each field
  StructField('name', ____, False),
  ____('____', IntegerType(), ____)
  ____
])
Upravit a spustit kód