Dela upp och expandera en textkolumn
En dataram clauses_df med 100 rader tillhandahålls. Den har en kolumn clause och ett rad-id. Varje clause är en sträng som innehåller ett eller flera ord separerade med mellanslag.
Den här övningen är en del av kursen
Introduktion till Spark SQL i Python
Övningsinstruktioner
- Dela upp kolumnen
clausei en kolumn som heterwords, innehållande en array med enskilda ord. - Expandera kolumnen
wordstill en kolumn som heterword. - Räkna det resulterande antalet rader.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Split the clause column into a column called words
split_df = clauses_df.select(____('clause', ' ').____('words'))
split_df.show(5, truncate=False)
# Explode the words column into a column called word
exploded_df = split_df.____(____('____').____('word'))
exploded_df.show(10)
# Count the resulting number of rows in exploded_df
print("\nNumber of rows: ", ____)