Aggregazioni in PySpark
Ora sei pronto per creare qualche aggregazione!
Userai un insieme di dati sugli stipendi che hai già utilizzato. Vediamo quali aggregazioni puoi ottenere!
Nel tuo workspace trovi già una SparkSession chiamata spark e la Spark DataFrame salaries_df.
Questo esercizio fa parte del corso
Introduzione a PySpark
Istruzioni dell'esercizio
- Trova lo stipendio minimo in un'azienda statunitense, Small: esegui il filtro facendo riferimento direttamente alla colonna (
"salary_in_usd"), senza passare una stringa SQL. - Trova lo stipendio massimo in un'azienda statunitense, Large, indicata da
"L": esegui il filtro facendo riferimento direttamente alla colonna ("salary_in_usd"), senza passare una stringa SQL.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Find the minimum salaries for small companies
salaries_df.filter(salaries_df.company_size == "S").groupBy().____.show()
# Find the maximum salaries for large companies
salaries_df.filter(salaries_df.company_size ____).____().max("salary_in_usd").show()