ID-uri cu partiții diferite
Tocmai ai terminat de adăugat un câmp de ID într-un DataFrame. Acum, hai să vedem ce se întâmplă când faci același lucru pe DataFrame-uri cu un număr diferit de partiții.
Pentru a verifica numărul de partiții, folosește metoda .rdd.getNumPartitions() pe un DataFrame.
Sesiunea spark și două DataFrame-uri, voter_df și voter_df_single, sunt disponibile în spațiul tău de lucru. Instrucțiunile te vor ajuta să descoperi diferența dintre cele două DataFrame-uri. Biblioteca pyspark.sql.functions este disponibilă sub aliasul F.
Acest exercițiu face parte din cursul
Curățarea datelor cu PySpark
Instrucțiuni pentru exercițiu
- Afișează numărul de partiții al fiecărui DataFrame.
- Adaugă un câmp
ROW_IDîn fiecare DataFrame. - Afișează primele 10 ID-uri din fiecare DataFrame.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Print the number of partitions in each DataFrame
print("\nThere are %d partitions in the voter_df DataFrame.\n" % ____)
print("\nThere are %d partitions in the voter_df_single DataFrame.\n" % ____)
# Add a ROW_ID field to each DataFrame
voter_df = voter_df.____('ROW_ID', ____)
voter_df_single = ____
# Show the top 10 IDs in each DataFrame
voter_df.____(voter_df.____.desc()).show(____)
____.orderBy(____).show(10)