Mulai sekarangMulai gratis

Menggunakan pemrosesan malas (lazy)

Operasi pemrosesan malas biasanya memerlukan waktu yang kurang lebih sama terlepas dari banyaknya data sebenarnya. Ingat bahwa ini terjadi karena Spark tidak menjalankan transformasi apa pun sampai ada aksi yang diminta.

Dalam latihan ini, kita akan mendefinisikan sebuah Data Frame (aa_dfw_df) dan menambahkan beberapa transformasi. Perhatikan waktu yang diperlukan agar transformasi selesai saat didefinisikan dibandingkan saat data benar-benar dikueri. Perbedaannya mungkin singkat, tetapi akan terasa. Saat bekerja dengan kluster Spark penuh dan data yang lebih besar, perbedaannya akan lebih jelas.

Latihan ini merupakan bagian dari kursus

Membersihkan Data dengan PySpark

Lihat Kursus

Instruksi latihan

  • Muat Data Frame.
  • Tambahkan transformasi F.lower() pada kolom Destination Airport.
  • Tampilkan Data Frame, dan perhatikan perbedaan waktu yang diperlukan hingga aksi ini selesai.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Load the CSV file
aa_dfw_df = ____.____.____('csv').options(Header=True).load('AA_DFW_2018.csv.gz')

# Add the airport column using the F.lower() method
aa_dfw_df = aa_dfw_df.withColumn('airport', ____(aa_dfw_df['Destination Airport']))

# Show the DataFrame
____
Edit dan Jalankan Kode