Inicio
Cursos
Fundamentos de Big Data com PySpark

Abstração de dados com RDDs

Este exercício faz parte do curso

Fundamentos de Big Data com PySpark

AvançadoNível de habilidade

4.6+

Este capítulo apresenta o empolgante mundo do Big Data, bem como os vários conceitos e estruturas diferentes para o processamento de Big Data. Você entenderá por que o Apache Spark é considerado o melhor framework para BigData.

Exercise 1: O que é Big Data?Exercise 2: Os 3 Vs do Big Data Exercise 3: PySpark: Spark com Python Exercise 4: Entendendo o SparkContext Exercise 5: Uso interativo do PySpark Exercise 6: Carregar dados no shell do PySpark Exercise 7: Revisão de programação funcional em Python Exercise 8: Uso de lambda() com map()Exercise 9: Uso de lambda() com filter()

A principal abstração que o Spark oferece é um conjunto de dados distribuídos resilientes (RDD), que é o tipo de dados fundamental e a espinha dorsal desse mecanismo. Este capítulo apresenta os RDDs e mostra como eles podem ser criados e executados usando transformações e ações do RDD.

Exercise 1: Abstração de dados com RDDs

Exercício atual

Exercise 2: RDDs de coleções paralelizadas Exercise 3: RDDs de conjuntos de dados externos Exercise 4: Partições em seus dados Exercise 5: Transformações e ações básicas do RDD Exercise 6: Mapear e coletar Exercise 7: Filtrar e contar Exercise 8: RDDs de pares no PySpark Exercise 9: ReduceBykey e Collect Exercise 10: SortByKey e Collect Exercise 11: Ações avançadas do RDD Exercise 12: CountingBykeys Exercise 13: Crie umRDD base e transforme-o Exercise 14: Remover palavras vazias e reduzir o conjunto de dados Exercise 15: Imprimir frequências de palavras

Neste capítulo, você aprenderá sobre o Spark SQL, que é um módulo do Spark para processamento de dados estruturados. Ele fornece uma abstração de programação chamada DataFrames e também pode atuar como um mecanismo de consulta distribuído SQL. Este capítulo mostra como o Spark SQL permite que você use DataFrames em Python.

Exercise 1: Abstração de dados com DataFrames Exercise 2: De RDD para DataFrame Exercise 3: Carregar um CSV em um DataFrame Exercise 4: Operar DataFrames no PySpark Exercise 5: Inspeção de dados no PySpark DataFrame Exercise 6: Subconjunto e limpeza do PySpark DataFrame Exercise 7: Filtrar seu DataFrame Exercise 8: Interagir com DataFrames usando PySpark SQL Exercise 9: Executar consultas SQL programaticamente Exercise 10: Consultas SQL para filtragem da tabela Exercise 11: Visualização de dados no PySpark usando DataFrames Exercise 12: Visualização de DataFrames do PySpark Exercise 13: Parte 1: Criar um DataFrame a partir do arquivo CSV Exercise 14: Parte 2: Consultas SQL no DataFrame Exercise 15: Parte 3: Visualização de dados

PySpark MLlib é a biblioteca de aprendizado de máquina escalável do Apache Spark em Python, que consiste em algoritmos e utilitários comuns de aprendizado. Ao longo deste último capítulo, você aprenderá algoritmos importantes de aprendizado de máquina. Você criará um mecanismo de recomendação de filmes e um filtro de spam e usará o k-means clustering.

Exercise 1: Visão geral do PySpark MLlib Exercise 2: Bibliotecas de ML do PySpark Exercise 3: Algoritmos MLlib do PySpark Exercise 4: Filtragem colaborativa Exercise 5: Carregar o conjunto de dados Movie Lens em RDDs Exercise 6: Treinamento e previsões de modelos Exercise 7: Avaliação do modelo usando MSE Exercise 8: Classificação Exercise 9: Carregar dados de spam e non-spam Exercise 10: Hash de recursos e LabelPoint Exercise 11: Treinamento do modelo de regressão logística Exercise 12: Clustering Exercise 13: Carregar e analisar dados de 5.000 pontos Exercise 14: Treinamento K-means Exercise 15: Visualização de clusters Exercise 16: Parabéns!