1. Aprender
    2. /
  2. Cursos
    3. /
  3. Introdução ao PySpark
  • 1

    Conhecendo o PySpark

    Gratuito

    Neste capítulo, você aprenderá como o Spark gerencia os dados e como você pode ler e gravar tabelas no Python.

  • 2

    Manipulação de dados

    Neste capítulo, você aprenderá sobre o módulo pyspark.sql, que fornece consultas de dados otimizadas à sua sessão do Spark.

  • 3

    Introdução aos pipelines de aprendizado de máquina

    O PySpark tem rotinas de aprendizado de máquina integradas e de ponta, além de utilitários para criar pipelines completos de aprendizado de máquina. Você aprenderá sobre eles neste capítulo.

  • 4

    Ajuste e seleção de modelos

    Neste último capítulo, você aplicará o que aprendeu para criar um modelo que preveja quais voos sofrerão atrasos.

Initializing

Exercicio

Pandafy a Spark DataFrame

Suponha que você tenha executado uma consulta em seu enorme conjunto de dados e o tenha agregado a algo um pouco mais gerenciável.

Às vezes, faz sentido que você pegue essa tabela e trabalhe com ela localmente usando uma ferramenta como pandas. Os Spark DataFrames facilitam isso com o método .toPandas(). Se você chamar esse método em um Spark DataFrame, ele retornará o pandas DataFrame correspondente. É tão simples quanto isso!

Desta vez, a consulta conta o número de voos para cada aeroporto a partir de SEA e PDX.

Lembre-se de que já existe um SparkSession chamado spark em seu espaço de trabalho!

Instruções

100 XP
  • Execute a consulta usando o método .sql(). Salve o resultado em flight_counts.
  • Use o método .toPandas() em flight_counts para criar um DataFrame pandas chamado pd_counts.
  • Imprima o endereço .head() de pd_counts no console.