Agregaciones en PySpark
¡Ahora ya puedes hacer tus propias agregaciones!
Vas a usar un conjunto de datos de salarios que ya has utilizado. ¡Veamos qué agregaciones puedes crear!
Ya tienes en tu espacio de trabajo una SparkSession llamada spark, junto con el DataFrame de Spark salaries_df.
Este ejercicio forma parte del curso
Introducción a PySpark
Instrucciones del ejercicio
- Encuentra el salario mínimo en una empresa de EE. UU. de tipo Small; realiza el filtrado haciendo referencia a la columna directamente (
"salary_in_usd"), sin pasar una cadena SQL. - Encuentra el salario máximo en una empresa de EE. UU. de tipo Large, indicado por una
"L"; realiza el filtrado haciendo referencia a la columna directamente ("salary_in_usd"), sin pasar una cadena SQL.
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
# Find the minimum salaries for small companies
salaries_df.filter(salaries_df.company_size == "S").groupBy().____.show()
# Find the maximum salaries for large companies
salaries_df.filter(salaries_df.company_size ____).____().max("salary_in_usd").show()