분할하고 폭발하기(Splitting & Exploding)

GARAGEDESCRIPTION처럼 복합 필드를 유용한 형태로 다듬는 일은 여러 단계를 거치는 작업이에요. 확장했을 때 어떤 가치를 얻을 수 있을지 미리 파악해 두면 도움이 됩니다. 이 예제에서는 문자열을 리스트 같은 배열로 변환한 뒤, 이를 explode하고 고유 값을 살펴보겠습니다.

이 연습은 강의의 일부입니다

PySpark로 하는 Feature Engineering

강의 보기

연습 안내

pyspark.sql.functions에서 필요한 함수 split()과 explode()를 임포트하세요.
split()을 사용해 df['GARAGEDESCRIPTION']을 ', ' (쉼표+공백) 기준으로 분할하여 새 열 garage_list를 만드세요.
explode()를 사용해 df['garage_list']의 각 값마다 새 레코드를 만들고, 이를 새 열 ex_garage_list로 지정하세요.
distinct()로 ex_garage_list의 고유 값을 구한 뒤, 처음 100개 행을 show로 출력하되 값 표시를 위해 50자에서 잘라 보여 주세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Import needed functions
____ ____ ____ ____, ____

# Convert string to list-like array
df = df.withColumn(____, ____(____, ____))

# Explode the values into new records
ex_df = df.withColumn(____, ____(____))

# Inspect the values
ex_df[['ex_garage_list']].____().____(100, ____=____)

코드 편집 및 실행