1. Aprender
    2. /
  2. Cursos
    3. /
  3. Introdução ao PySpark
  • 1

    Conhecendo o PySpark

    Gratuito

    Neste capítulo, você aprenderá como o Spark gerencia os dados e como você pode ler e gravar tabelas no Python.

  • 2

    Manipulação de dados

    Neste capítulo, você aprenderá sobre o módulo pyspark.sql, que fornece consultas de dados otimizadas à sua sessão do Spark.

  • 3

    Introdução aos pipelines de aprendizado de máquina

    O PySpark tem rotinas de aprendizado de máquina de ponta incorporadas, além de utilitários para criar pipelines completos de aprendizado de máquina. Você aprenderá sobre eles neste capítulo.

  • 4

    Ajuste e seleção de modelos

    Neste último capítulo, você aplicará o que aprendeu para criar um modelo que preveja quais voos sofrerão atrasos.

Initializing

Exercicio

Agrupamento e agregação II

Além dos métodos GroupedData que você já viu, há também o método .agg(). Esse método permite que você passe uma expressão de coluna agregada que use qualquer uma das funções agregadas do submódulo pyspark.sql.functions.

Esse submódulo contém muitas funções úteis para o cálculo de coisas como desvios padrão. Todas as funções de agregação nesse submódulo recebem o nome de uma coluna em uma tabela GroupedData.

Lembre-se de que um SparkSession chamado spark já está em seu espaço de trabalho, junto com o Spark DataFrame flights. Os DataFrames agrupados que você criou no último exercício também estão no seu espaço de trabalho.

Instruções

100 XP
  • Importe o submódulo pyspark.sql.functions como F.
  • Crie uma tabela GroupedData chamada by_month_dest que seja agrupada pelas colunas month e dest. Consulte as duas colunas passando as duas cadeias de caracteres como argumentos separados.
  • Use o método .avg() no DataFrame by_month_dest para obter a média de dep_delay em cada mês para cada destino.
  • Encontre o desvio padrão de dep_delay usando o método .agg() com a função F.stddev().