ÎncepețiÎncepe gratuit

Colectarea RDD-urilor

În acest exercițiu, vei lucra atât cu RDD-uri, cât și cu DataFrame-uri în PySpark. Scopul este să grupezi datele și să efectuezi agregări folosind atât operații pe RDD, cât și metode specifice DataFrame-urilor.

Vei încărca un fișier CSV cu date despre salariile angajaților în PySpark ca un RDD. Apoi vei grupa datele după nivelul de experiență și vei calcula salariul maxim pentru fiecare nivel de experiență dintr-un DataFrame. Astfel, vei putea observa avantajele relative ale fiecărui format de date.

Setul de date pe care îl folosești conține informații despre salariile Data Scientist-ilor – prin urmare, identificarea tendințelor din piață este în interesul tău! Am încărcat și normalizat deja datele pentru tine! Reține că în spațiul tău de lucru există deja o SparkSession numită spark!

Acest exercițiu face parte din cursul

Introducere în PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

  • Creează un RDD dintr-un DataFrame.
  • Colectează și afișează rezultatele RDD-ului și ale DataFrame-ului.
  • Grupează după "experience_level" și calculează salariul maxim pentru fiecare nivel.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create an RDD from the df_salaries
rdd_salaries = df_salaries.____

# Collect and print the results
print(rdd_salaries.____)

# Group by the experience level and calculate the maximum salary
dataframe_results = df_salaries.____("experience_level").____({"salary_in_usd": 'max'})

# Show the results
dataframe_results.____
Editează și rulează codul