1. Aprende
    2. /
  2. Cursos
    3. /
  3. Fundamentos de big data con PySpark
  • 1

    Introducción al análisis de big data con Spark

    Gratuito

    Este capítulo presenta el apasionante mundo del big data, así como los diversos conceptos y los diferentes marcos para procesar big data. Comprenderás por qué Apache Spark se considera el mejor marco para big data.

  • 2

    Programación en RDD de PySpark

    La principal abstracción que proporciona Spark es un conjunto de datos distribuidos resilientes (RDD), que es el tipo de datos fundamental y vertebrador de este motor. Este capítulo presenta los RDD y muestra cómo pueden crearse y ejecutarse RDD mediante transformaciones y acciones de RDD.

  • 3

    PySpark SQL y DataFrames

    En este capítulo obtendrás información sobre Spark SQL, que es un módulo de Spark para el procesamiento de datos estructurados. Proporciona una abstracción de programación llamada DataFrames y también puede actuar como motor de consultas SQL distribuido. Este capítulo muestra que Spark SQL te permite utilizar DataFrames en Python.

  • 4

    Machine learning con PySpark MLlib

    PySpark MLlib es la biblioteca de machine learning escalable de Apache Spark en Python, con utilidades y algoritmos de aprendizaje comunes. A lo largo de este último capítulo, aprenderás importantes algoritmos de machine learning. Crearas un motor de recomendación de películas y un filtro de spam, y utilizarás k-medias.

Initializing

Ejercicio

Entrenamiento del modelo y previsiones

Tras dividir los datos en datos de entrenamiento y de prueba, en la segunda parte del ejercicio entrenarás el algoritmo ALS utilizando los datos de entrenamiento. El algoritmo ALS de PySpark MLlib tiene los siguientes parámetros obligatorios: rank (el número de factores latentes del modelo) y iterations (número de iteraciones que deben ejecutarse). Después de entrenar el modelo ALS, puedes utilizarlo para prever las valoraciones a partir de los datos de prueba. Para ello, proporcionarás las columnas de usuario y elemento del conjunto de datos de prueba y, finalmente, devolverás la lista de 2 filas de la salida predictAll().

Recuerda que tienes sc, training_data y test_data de SparkContext ya disponibles en tu espacio de trabajo.

Instrucciones

100 XP
  • Entrena el algoritmo ALS con los datos de entrenamiento y los parámetros configurados (rank = 10 y iterations = 10).
  • Elimina la columna rating, que es la tercera columna, en los datos de prueba.
  • Prueba el modelo previendo la valoración a partir de los datos de prueba.
  • Devuelve una lista de dos filas de las valoraciones previstas.