1. Lernen
    2. /
  2. Kurse
    3. /
  3. Fundamentos de Big Data com PySpark
  • 1

    Introdução à análise de Big Data com o Spark

    Kostenlos

    Este capítulo apresenta o empolgante mundo do Big Data, bem como os vários conceitos e estruturas diferentes para o processamento de Big Data. Você entenderá por que o Apache Spark é considerado a melhor estrutura para BigData.

  • 2

    Programação no PySpark RDD's

    A principal abstração que o Spark oferece é um conjunto de dados distribuídos resilientes (RDD), que é o tipo de dados fundamental e a espinha dorsal desse mecanismo. Este capítulo apresenta RDDs e mostra como RDDs pode ser criado e executado usando RDD Transformations and Actions.

  • 3

    PySpark SQL e DataFrames

    Neste capítulo, você aprenderá sobre o Spark SQL, que é um módulo do Spark para processamento de dados estruturados. Ele fornece uma abstração de programação chamada DataFrames e também pode atuar como um mecanismo de consulta distribuído SQL. Este capítulo mostra como o Spark SQL permite que você use DataFrames em Python.

  • 4

    Aprendizado de máquina com PySpark MLlib

    PySpark MLlib é a biblioteca de aprendizado de máquina escalável do Apache Spark em Python, que consiste em algoritmos e utilitários comuns de aprendizado. Ao longo deste último capítulo, você aprenderá algoritmos importantes de Machine Learning. Você criará um mecanismo de recomendação de filmes e um filtro de spam e usará o agrupamento k-means.

Initializing

Ubung

SortByKey e Collect

Muitas vezes é útil classificar o par RDD com base na chave (por exemplo, contagem de palavras, que você verá mais adiante no capítulo). Neste exercício, você classificará o par RDD Rdd_Reduced que criou no exercício anterior em ordem decrescente e imprimirá o resultado final.

Lembre-se de que você já tem um SparkContext sc e Rdd_Reduced disponíveis em seu espaço de trabalho.

Anweisungen

100 XP
  • Classifique o site Rdd_Reduced RDD usando a chave em ordem decrescente.
  • Colete o conteúdo e itere para imprimir a saída.