1. Aprende
    2. /
  2. Cursos
    3. /
  3. Introducción a PySpark
  • 1

    Conocer PySpark

    Gratuito

    En este capítulo, aprenderás cómo gestiona Spark los datos y cómo leer y escribir tablas desde Python.

  • 2

    Manipulación de datos

    En este capítulo, aprenderás sobre el módulo pyspark.sql, que proporciona consultas de datos optimizadas a tu sesión Spark.

  • 3

    Introducción a las canalizaciones de machine learning

    PySpark tiene rutinas de machine learning de última generación integradas, junto con utilidades para crear canalizaciones completas de machine learning. Aprenderás todo esto en este capítulo.

  • 4

    Ajuste y selección de modelos

    En este último capítulo, aplicarás lo que has aprendido para crear un modelo que prevea qué vuelos sufrirán retrasos.

Initializing

Ejercicio

Unión II

En PySpark, las uniones se realizan utilizando el método DataFrame .join(). Este método toma tres argumentos. El primero es el segundo DataFrame que quieres unir con el primero. El segundo argumento, on, es el nombre de la columna o columnas clave en forma de cadena. Los nombres de las columnas clave deben ser los mismos en cada tabla. El tercer argumento, how, especifica el tipo de unión a realizar. En este curso utilizaremos siempre el valor how="leftouter".

El conjunto de datos flights y un nuevo conjunto de datos llamado airports ya están en tu espacio de trabajo.

Instrucciones

100 XP

  • Examina el DataFrame airports llamando a .show(). Observa qué columna clave te permitirá unir airports a la tabla flights.

  • Cambia el nombre de la columna faa de airports a dest reasignando el resultado de airports.withColumnRenamed("faa", "dest") a airports.

  • Une el flights con el DataFrame airports en la columna dest llamando al método .join() en flights. Guarda el resultado como flights_with_airports.

    • El primer argumento debe ser el otro DataFrame, airports.

    • El argumento on debe ser la columna clave.

    • El argumento how debe ser "leftouter".

  • Llama a .show() en flights_with_airports para examinar de nuevo los datos. Observa la nueva información que se ha añadido.