1. Learn
    2. /
  2. Курси
    3. /
  3. Очищення даних у PySpark
Connected

Вправа

Визначення схеми

Чітко визначена схема допомагає підвищити якість даних і прискорити імпорт. Як згадувалося на уроці, створимо просту схему для читання таких стовпців:

  • Name
  • Age
  • City

Стовпці Name і City мають тип StringType(), а стовпець Age — тип IntegerType().

Інструкції

100 XP
  • Імпортуйте * із бібліотеки pyspark.sql.types.
  • Визначте нову схему за допомогою методу StructType.
  • Створіть StructField для name, age і city. Кожне поле має відповідати правильному типу даних і не бути nullable.