ÎncepețiÎncepe gratuit

Exersarea stocării în cache: partea 1

În următoarele câteva exerciții, vei experimenta diferite moduri de a stoca în cache două DataFrame-uri.

Un dataframe df1 este încărcat dintr-un fișier CSV. Asupra lui sunt aplicate mai multe etape de procesare. Deoarece df1 va fi folosit de mai multe ori, este un candidat potrivit pentru cache.

Al doilea dataframe, df2, este creat prin aplicarea unor pași suplimentari, cu consum mare de resurse, pe df1. Și acesta este un candidat pentru cache.

Deoarece df2 depinde de df1, apare întrebarea: este mai bine să stochezi în cache df1 sau df2?

În acest exercițiu, vom încerca să stocăm în cache df1. Observă cât timp durează fiecare acțiune – le vom compara în exercițiul următor.

Acest exercițiu face parte din cursul

Introducere în Spark SQL în Python

Vezi cursul

Instrucțiuni pentru exercițiu

  • Stochează în cache doar df1.
  • Rulează o primă acțiune pe df1 și repet-o, apoi rulează o acțiune pe df2 și repet-o. Această parte a fost deja realizată pentru tine.
  • Verifică dacă df1 este stocat în cache.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Unpersists df1 and df2 and initializes a timer
prep(df1, df2) 

# Cache df1
____

# Run actions on both dataframes
run(df1, "df1_1st") 
run(df1, "df1_2nd")
run(df2, "df2_1st")
run(df2, "df2_2nd", elapsed=True)

# Prove df1 is cached
print(____)
Editează și rulează codul