Separă și extinde o coloană de text
Îți este pus la dispoziție un DataFrame clauses_df cu 100 de rânduri. Acesta conține o coloană clause și un id de rând. Fiecare clause este un șir de caractere cu unul sau mai multe cuvinte separate prin spații.
Acest exercițiu face parte din cursul
Introducere în Spark SQL în Python
Instrucțiuni pentru exercițiu
- Separă coloana
clauseîntr-o coloană numităwords, care să conțină un array cu cuvintele individuale. - Extinde coloana
wordsîntr-o coloană numităword. - Numără rândurile rezultate.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Split the clause column into a column called words
split_df = clauses_df.select(____('clause', ' ').____('words'))
split_df.show(5, truncate=False)
# Explode the words column into a column called word
exploded_df = split_df.____(____('____').____('word'))
exploded_df.show(10)
# Count the resulting number of rows in exploded_df
print("\nNumber of rows: ", ____)