Definizione di uno schema
Creare uno schema definito aiuta con la qualità dei dati e le prestazioni di importazione. Come detto durante la lezione, creeremo uno schema semplice per leggere le seguenti colonne:
- Name
- Age
- City
Le colonne Name e City sono di tipo StringType() e la colonna Age è di tipo IntegerType().
Questo esercizio fa parte del corso
Pulizia dei dati con PySpark
Istruzioni dell'esercizio
- Importa
*dalla libreriapyspark.sql.types. - Definisci un nuovo schema usando il metodo
StructType. - Definisci un
StructFieldpername,ageecity. Ogni campo deve corrispondere al tipo di dato corretto e non esserenullable.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Import the pyspark.sql.types library
____
# Define a new schema using the StructType method
people_schema = ____([
# Define a StructField for each field
StructField('name', ____, False),
____('____', IntegerType(), ____)
____
])