Definirea unui schema

Crearea unui schema bine definit îmbunătățește calitatea datelor și performanța la import. Așa cum s-a menționat în lecție, vom crea un schema simplu pentru a citi următoarele coloane:

Name
Age
City

Coloanele Name și City sunt de tip StringType(), iar coloana Age este de tip IntegerType().

Acest exercițiu face parte din cursul

Curățarea datelor cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Importă * din biblioteca pyspark.sql.types.
Definește un nou schema folosind metoda StructType.
Definește câte un StructField pentru name, age și city. Fiecare câmp trebuie să corespundă tipului de date corect și să nu fie nullable.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import the pyspark.sql.types library
____

# Define a new schema using the StructType method
people_schema = ____([
  # Define a StructField for each field
  StructField('name', ____, False),
  ____('____', IntegerType(), ____)
  ____
])

Editează și rulează codul