Inicio
Cursos
Fundamentos de big data con PySpark

Operaciones con DataFrames en PySpark

Este ejercicio forma parte del curso

Fundamentos de big data con PySpark

AvanzadoNivel de habilidad

4.7+

Este capítulo presenta el apasionante mundo del big data, así como los diversos conceptos y los diferentes marcos para procesar big data. Comprenderás por qué Apache Spark se considera el mejor marco para big data.

Exercise 1: ¿Qué es el big data?Exercise 2: Las 3 V del big data Exercise 3: PySpark: Spark con Python Exercise 4: Qué es SparkContext Exercise 5: Uso interactivo de PySpark Exercise 6: Carga de datos en el terminal PySpark Exercise 7: Revisión de la programación funcional en Python Exercise 8: Uso de lambda() con map()Exercise 9: Uso de lambda() con filter()

La principal abstracción que proporciona Spark es un conjunto de datos distribuidos resilientes (RDD), que es el tipo de datos fundamental y vertebrador de este motor. Este capítulo presenta los RDD y muestra cómo pueden crearse y ejecutarse RDD mediante transformaciones y acciones de RDD.

Exercise 1: Abstracción de datos con RDD Exercise 2: RDD de colecciones paralelizadas Exercise 3: RDD de conjuntos de datos externos Exercise 4: Particiones en tus datos Exercise 5: Transformaciones y acciones básicas de RDD Exercise 6: Map y Collect Exercise 7: Filter y Count Exercise 8: Pares RDD en PySpark Exercise 9: ReduceBykey y Collect Exercise 10: SortByKey y Collect Exercise 11: Acciones avanzadas de RDD Exercise 12: CountingBykeys Exercise 13: Crear una base RDD y transformarla Exercise 14: Eliminar las palabras vacías y reducir el conjunto de datos Exercise 15: Imprimir frecuencias de palabras

En este capítulo obtendrás información sobre Spark SQL, que es un módulo de Spark para el procesamiento de datos estructurados. Proporciona una abstracción de programación llamada DataFrames y también puede actuar como motor de consultas SQL distribuido. Este capítulo muestra que Spark SQL te permite utilizar DataFrames en Python.

Exercise 1: Abstracción de datos con DataFrames Exercise 2: De RDD a DataFrame Exercise 3: Carga de CSV en el DataFrame Exercise 4: Operaciones con DataFrames en PySpark

Ejercicio actual

Exercise 5: Inspección de datos en el DataFrame de PySpark Exercise 6: Creación de subconjuntos y limpieza en el DataFrame de PySpark Exercise 7: Cómo filtrar tu DataFrame Exercise 8: Interacción con DataFrames utilizando PySpark SQL Exercise 9: Ejecución de consultas SQL mediante programación Exercise 10: Consultas SQL para filtrar la tabla Exercise 11: Visualización de datos en PySpark con DataFrames Exercise 12: Visualización del DataFrame de PySpark Exercise 13: 1.ª parte: crear un DataFrame a partir del archivo CSV Exercise 14: 2.ª parte: consultas SQL en el DataFrame Exercise 15: 3.ª parte: visualización de datos

PySpark MLlib es la biblioteca de machine learning escalable de Apache Spark en Python, con utilidades y algoritmos de aprendizaje comunes. A lo largo de este último capítulo, aprenderás importantes algoritmos de machine learning. Crearas un motor de recomendación de películas y un filtro de spam, y utilizarás k-medias.

Exercise 1: Descripción general de PySpark MLlib Exercise 2: Bibliotecas PySpark ML Exercise 3: Algoritmos de PySpark MLlib Exercise 4: Filtrado colaborativo Exercise 5: Carga del conjunto de datos MovieLens en los RDD Exercise 6: Entrenamiento del modelo y previsiones Exercise 7: Evaluación del modelo mediante el MSE Exercise 8: Clasificación Exercise 9: Carga de datos spam y no spam Exercise 10: Método hash y LabelPoint Exercise 11: Entrenamiento del modelo de regresión logística Exercise 12: Agrupamiento Exercise 13: Carga y análisis de los 5000 datos de puntos Exercise 14: Entrenamiento con k-medias Exercise 15: Visualización de grupos Exercise 16: ¡Enhorabuena!