НачатьНачать бесплатно

Определение схемы

Явное определение схемы повышает качество данных и ускоряет их загрузку. Как было показано на уроке, создадим простую схему для чтения следующих столбцов:

  • Name
  • Age
  • City

Столбцы Name и City имеют тип StringType(), а столбец Age — тип IntegerType().

Это упражнение является частью курса

Очистка данных с помощью PySpark

Посмотреть курс

Инструкции к упражнению

  • Импортируйте * из библиотеки pyspark.sql.types.
  • Определите новую схему с помощью метода StructType.
  • Определите StructField для полей name, age и city. Каждое поле должно соответствовать правильному типу данных и не допускать значений nullable.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import the pyspark.sql.types library
____

# Define a new schema using the StructType method
people_schema = ____([
  # Define a StructField for each field
  StructField('name', ____, False),
  ____('____', IntegerType(), ____)
  ____
])
Редактировать и запускать код