1. Aprender
    2. /
  2. Cursos
    3. /
  3. Introdução ao PySpark
  • 1

    Visão geral do PySpark

    Gratuito

    Neste capítulo, você aprenderá como o Spark gerencia dados e como você pode ler e gravar tabelas no Python.

  • 2

    Manipulação de dados

    Neste capítulo, você aprenderá sobre o módulo pyspark.sql, que disponibiliza consultas de dados otimizadas à sua sessão do Spark.

  • 3

    Introdução a pipelines de aprendizado de máquina

    O PySpark tem rotinas de aprendizado de máquina de ponta integradas, além de utilitários para criar pipelines completos de aprendizado de máquina. Você aprenderá sobre eles neste capítulo.

  • 4

    Ajuste e seleção de modelos

    Neste último capítulo, você aplicará o que aprendeu para criar um modelo capaz de prever quais voos sofrerão atrasos.

Initializing

Exercicio

Como pandificar um DataFrame do Spark

Suponha que você tenha executado uma consulta em seu enorme conjunto de dados e o tenha agregado a algo um pouco mais gerenciável.

Às vezes, faz sentido que você pegue essa tabela e trabalhe com ela localmente usando uma ferramenta como o pandas. Os DataFrames do Spark facilitam isso com o método .toPandas(). Se você chamar esse método com um DataFrame do Spark, ele retornará o DataFrame correspondente do pandas. É simples assim!

Desta vez, a consulta conta o número de voos para cada aeroporto vindos de SEA e PDX.

Lembre-se de que já existe uma SparkSession chamada spark em seu espaço de trabalho!

Instruções

100 XP
  • Execute a consulta usando o método .sql(). Salve o resultado em flight_counts.
  • Use o método .toPandas() com flight_counts para criar um DataFrame do pandas chamado pd_counts.
  • Imprima o .head() de pd_counts no console.