1. Lernen
    2. /
  2. Kurse
    3. /
  3. Fundamentos de Big Data con PySpark
  • 1

    Introducción al análisis de Big Data con Spark

    Kostenlos

    Este capítulo presenta el apasionante mundo de los Big Data, así como los diversos conceptos y los diferentes marcos para su procesamiento. Entenderás por qué Apache Spark es considerado el mejor framework para BigData.

  • 2

    Programación en PySpark RDD's

    La principal abstracción que proporciona Spark es un conjunto de datos distribuido resistente (RDD), que es el tipo de datos fundamental y vertebrador de este motor. Este capítulo presenta RDDs y muestra cómo pueden crearse y ejecutarse RDDs utilizando RDD Transformaciones y Acciones.

  • 3

    PySpark SQL y DataFrames

    En este capítulo, aprenderás sobre Spark SQL que es un módulo de Spark para el procesamiento de datos estructurados. Proporciona una abstracción de programación denominada DataFrames y también puede actuar como motor de consulta distribuida SQL. Este capítulo muestra cómo Spark SQL permite utilizar DataFrames en Python.

  • 4

    Aprendizaje automático con PySpark MLlib

    PySpark MLlib es la biblioteca de aprendizaje automático escalable de Apache Spark en Python que consta de algoritmos y utilidades de aprendizaje comunes. A lo largo de este último capítulo, aprenderás importantes algoritmos de Aprendizaje Automático. Construirá un motor de recomendación de películas y un filtro de spam, y utilizará la agrupación k-means.

Initializing

Ubung

SortByKey y Collect

Muchas veces resulta útil ordenar el par RDD en función de la clave (por ejemplo, el recuento de palabras, que verá más adelante en el capítulo). En este ejercicio, ordenará el par RDD Rdd_Reduced que creó en el ejercicio anterior en orden descendente e imprimirá la salida final.

Recuerde que ya tiene un SparkContext sc y Rdd_Reduced disponibles en su espacio de trabajo.

Anweisungen

100 XP
  • Ordena la Rdd_Reduced RDD utilizando la clave en orden descendente.
  • Recoger el contenido e iterar para imprimir la salida.