Igual que los RDD, los DataFrames son estructuras de datos inmutables y distribuidas en Spark. Aunque los RDD son una estructura de datos fundamental en Spark, trabajar con datos en DataFrames es más sencillo que en RDD. Por lo tanto, es necesario comprender cómo convertir un RDD en un DataFrame.

En este ejercicio crearás primero un RDD utilizando sample_list, que ya se te ha proporcionado. Este RDD contiene una lista de tuplas ('Mona',20), ('Jennifer',34),('John',20), ('Jim',26), en la que cada tupla contiene el nombre de la persona y su edad. A continuación, crearás un DataFrame utilizando el RDD y el esquema (que es la lista de "Name" y "Age") y, finalmente, confirmarás que la salida sea un DataFrame de PySpark.

Recuerda que ya tienes sc de SparkContext y spark de SparkSession disponibles en tu espacio de trabajo.

Operaciones con DataFrames en PySpark

Create Your Free Account