스키마 정의하기
명시적인 스키마를 만들면 데이터 품질과 가져오기 성능이 향상돼요. 강의에서 언급했듯이, 다음 열을 읽기 위한 간단한 스키마를 만들어 보겠습니다.
- Name
- Age
- City
Name과 City 열은 StringType()이고, Age 열은 IntegerType()입니다.
이 연습은 강의의 일부입니다
PySpark로 데이터 정제하기
연습 안내
pyspark.sql.types라이브러리에서*를 import 하세요.StructType메서드를 사용해 새 스키마를 정의하세요.name,age,city에 대한StructField를 정의하세요. 각 필드는 올바른 데이터 타입에 대응하고nullable이 아니어야 합니다.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Import the pyspark.sql.types library
____
# Define a new schema using the StructType method
people_schema = ____([
# Define a StructField for each field
StructField('name', ____, False),
____('____', IntegerType(), ____)
____
])