Agregace v PySparku
Teď si můžeš zkusit agregace na vlastní kůži!
Budeš pracovat s datasetem platů, který už znáš. Podívejme se, jaké agregace z něj dokážeš vytáhnout!
V tvém workspace je již připravena SparkSession spark a Spark DataFrame salaries_df.
Toto cvičení je součástí kurzu
Introduction to PySpark
Pokyny k cvičení
- Najdi minimální plat v malé americké společnosti – filtrování proveď přímým odkazem na sloupec (
"salary_in_usd"), nikoli předáním SQL řetězce. - Najdi maximální plat ve velké americké společnosti, označené jako
"L"– filtrování proveď přímým odkazem na sloupec ("salary_in_usd"), nikoli předáním SQL řetězce.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Find the minimum salaries for small companies
salaries_df.filter(salaries_df.company_size == "S").groupBy().____.show()
# Find the maximum salaries for large companies
salaries_df.filter(salaries_df.company_size ____).____().max("salary_in_usd").show()