Mulai sekarangMulai gratis

ID dengan partisi berbeda

Anda baru saja menambahkan kolom ID ke sebuah DataFrame. Sekarang, lihat apa yang terjadi saat Anda melakukan hal yang sama pada DataFrame yang memiliki jumlah partisi berbeda.

Untuk memeriksa jumlah partisi, gunakan metode .rdd.getNumPartitions() pada sebuah DataFrame.

Sesi spark dan dua DataFrame, voter_df dan voter_df_single, tersedia di workspace Anda. Instruksi akan membantu Anda menemukan perbedaan antara kedua DataFrame tersebut. Pustaka pyspark.sql.functions tersedia dengan alias F.

Latihan ini merupakan bagian dari kursus

Membersihkan Data dengan PySpark

Lihat Kursus

Instruksi latihan

  • Cetak jumlah partisi pada setiap DataFrame.
  • Tambahkan kolom ROW_ID ke setiap DataFrame.
  • Tampilkan 10 ID teratas di setiap DataFrame.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Print the number of partitions in each DataFrame
print("\nThere are %d partitions in the voter_df DataFrame.\n" % ____)
print("\nThere are %d partitions in the voter_df_single DataFrame.\n" % ____)

# Add a ROW_ID field to each DataFrame
voter_df = voter_df.____('ROW_ID', ____)
voter_df_single = ____

# Show the top 10 IDs in each DataFrame 
voter_df.____(voter_df.____.desc()).show(____)
____.orderBy(____).show(10)
Edit dan Jalankan Kode