1. Aprender
    2. /
  2. Cursos
    3. /
  3. Introducción a PySpark
  • 1

    Conocer PySpark

    Gratuito

    En este capítulo, aprenderás cómo gestiona Spark los datos y cómo leer y escribir tablas desde Python.

  • 2

    Manipulación de datos

    En este capítulo, aprenderás sobre el módulo pyspark.sql, que proporciona consultas de datos optimizadas a tu sesión Spark.

  • 3

    Introducción a las canalizaciones de machine learning

    PySpark tiene rutinas de machine learning de última generación integradas, junto con utilidades para crear canalizaciones completas de machine learning. Aprenderás todo esto en este capítulo.

  • 4

    Ajuste y selección de modelos

    En este último capítulo, aplicarás lo que has aprendido para crear un modelo que prevea qué vuelos sufrirán retrasos.

Initializing

Exercicio

Pandafy en Spark DataFrame

Supón que has ejecutado una consulta en tu enorme conjunto de datos y lo has reducido a algo un poco más manejable.

A veces tiene sentido tomar luego esa tabla y trabajar con ella localmente utilizando una herramienta como pandas. Spark DataFrames te lo pone fácil con el método .toPandas(). Llamar a este método en un Spark DataFrame devuelve el correspondiente pandas DataFrame. Así de sencillo.

Esta vez la consulta cuenta el número de vuelos a cada aeropuerto desde SEA y PDX.

Recuerda, ¡ya hay un SparkSession llamado spark en tu espacio de trabajo!

Instruções

100 XP
  • Ejecuta la consulta utilizando el método .sql(). Guarda el resultado en flight_counts.
  • Utiliza el método .toPandas() en flight_counts para crear un DataFrame pandas llamado pd_counts.
  • Imprime en la consola la dirección .head() de pd_counts.