Tách và explode một cột văn bản
Đã cung cấp một dataframe clauses_df với 100 hàng. Nó có một cột clause và một id hàng. Mỗi clause là một chuỗi chứa một hoặc nhiều từ, được phân tách bằng dấu cách.
Bài tập này là một phần của khóa học
Nhập môn Spark SQL bằng Python
Hướng dẫn bài tập
- Tách cột
clausethành một cột tênwords, chứa một mảng các từ riêng lẻ. - Explode cột
wordsthành một cột tênword. - Đếm số lượng hàng thu được.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Split the clause column into a column called words
split_df = clauses_df.select(____('clause', ' ').____('words'))
split_df.show(5, truncate=False)
# Explode the words column into a column called word
exploded_df = split_df.____(____('____').____('word'))
exploded_df.show(10)
# Count the resulting number of rows in exploded_df
print("\nNumber of rows: ", ____)