Визначення схеми

Чітко визначена схема допомагає підвищити якість даних і прискорити імпорт. Як згадувалося на уроці, створимо просту схему для читання таких стовпців:

Name
Age
City

Стовпці Name і City мають тип StringType(), а стовпець Age — тип IntegerType().

Ця вправа є частиною курсу

Очищення даних у PySpark

Переглянути курс

Інструкції до вправи

Імпортуйте * із бібліотеки pyspark.sql.types.
Визначте нову схему за допомогою методу StructType.
Створіть StructField для name, age і city. Кожне поле має відповідати правильному типу даних і не бути nullable.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Import the pyspark.sql.types library
____

# Define a new schema using the StructType method
people_schema = ____([
  # Define a StructField for each field
  StructField('name', ____, False),
  ____('____', IntegerType(), ____)
  ____
])

Редагувати та запускати код