1. Lernen
    2. /
  2. Kurse
    3. /
  3. Introdução ao PySpark
  • 1

    Visão geral do PySpark

    Kostenlos

    Neste capítulo, você aprenderá como o Spark gerencia dados e como você pode ler e gravar tabelas no Python.

  • 2

    Manipulação de dados

    Neste capítulo, você aprenderá sobre o módulo pyspark.sql, que disponibiliza consultas de dados otimizadas à sua sessão do Spark.

  • 3

    Introdução a pipelines de aprendizado de máquina

    O PySpark tem rotinas de aprendizado de máquina de ponta integradas, além de utilitários para criar pipelines completos de aprendizado de máquina. Você aprenderá sobre eles neste capítulo.

  • 4

    Ajuste e seleção de modelos

    Neste último capítulo, você aplicará o que aprendeu para criar um modelo capaz de prever quais voos sofrerão atrasos.

Initializing

Ubung

Agrupamento e agregação II

Além dos métodos GroupedData que você já viu, há também o método .agg(). Esse método permite que você passe uma expressão de coluna agregada que usa qualquer uma das funções agregadas do submódulo pyspark.sql.functions.

Esse submódulo contém muitas funções úteis para cálculos como desvios-padrão. Todas as funções de agregação desse submódulo recebem o nome de uma coluna de uma tabela GroupedData.

Lembre-se de que uma SparkSession chamada spark já está em seu espaço de trabalho, junto com o DataFrame flights do Spark. Os DataFrames agrupados que você criou no último exercício também estão no seu espaço de trabalho.

Anweisungen

100 XP
  • Importe o submódulo pyspark.sql.functions como F.
  • Crie uma tabela GroupedData chamada by_month_dest que seja agrupada pelas colunas month e dest. Consulte as duas colunas passando ambas as strings como argumentos separados.
  • Use o método .avg() com o DataFrame by_month_dest para calcular a média de dep_delay em cada mês, para cada destino.
  • Encontre o desvio-padrão de dep_delay usando o método .agg() com a função F.stddev().