Inicio
Cursos
Fundamentos de Big Data com PySpark

Visualização de dados no PySpark usando DataFrames

Este exercício faz parte do curso

Fundamentos de Big Data com PySpark

AvançadoNível de habilidade

4.6+

Este capítulo apresenta o empolgante mundo do Big Data, bem como os vários conceitos e estruturas diferentes para o processamento de Big Data. Você entenderá por que o Apache Spark é considerado o melhor framework para BigData.

Exercise 1: O que é Big Data?Exercise 2: Os 3 Vs do Big Data Exercise 3: PySpark: Spark com Python Exercise 4: Entendendo o SparkContext Exercise 5: Uso interativo do PySpark Exercise 6: Carregar dados no shell do PySpark Exercise 7: Revisão de programação funcional em Python Exercise 8: Uso de lambda() com map()Exercise 9: Uso de lambda() com filter()

A principal abstração que o Spark oferece é um conjunto de dados distribuídos resilientes (RDD), que é o tipo de dados fundamental e a espinha dorsal desse mecanismo. Este capítulo apresenta os RDDs e mostra como eles podem ser criados e executados usando transformações e ações do RDD.

Exercise 1: Abstração de dados com RDDs Exercise 2: RDDs de coleções paralelizadas Exercise 3: RDDs de conjuntos de dados externos Exercise 4: Partições em seus dados Exercise 5: Transformações e ações básicas do RDD Exercise 6: Mapear e coletar Exercise 7: Filtrar e contar Exercise 8: RDDs de pares no PySpark Exercise 9: ReduceBykey e Collect Exercise 10: SortByKey e Collect Exercise 11: Ações avançadas do RDD Exercise 12: CountingBykeys Exercise 13: Crie umRDD base e transforme-o Exercise 14: Remover palavras vazias e reduzir o conjunto de dados Exercise 15: Imprimir frequências de palavras

Neste capítulo, você aprenderá sobre o Spark SQL, que é um módulo do Spark para processamento de dados estruturados. Ele fornece uma abstração de programação chamada DataFrames e também pode atuar como um mecanismo de consulta distribuído SQL. Este capítulo mostra como o Spark SQL permite que você use DataFrames em Python.

Exercise 1: Abstração de dados com DataFrames Exercise 2: De RDD para DataFrame Exercise 3: Carregar um CSV em um DataFrame Exercise 4: Operar DataFrames no PySpark Exercise 5: Inspeção de dados no PySpark DataFrame Exercise 6: Subconjunto e limpeza do PySpark DataFrame Exercise 7: Filtrar seu DataFrame Exercise 8: Interagir com DataFrames usando PySpark SQL Exercise 9: Executar consultas SQL programaticamente Exercise 10: Consultas SQL para filtragem da tabela Exercise 11: Visualização de dados no PySpark usando DataFrames

Exercício atual

Exercise 12: Visualização de DataFrames do PySpark Exercise 13: Parte 1: Criar um DataFrame a partir do arquivo CSV Exercise 14: Parte 2: Consultas SQL no DataFrame Exercise 15: Parte 3: Visualização de dados

PySpark MLlib é a biblioteca de aprendizado de máquina escalável do Apache Spark em Python, que consiste em algoritmos e utilitários comuns de aprendizado. Ao longo deste último capítulo, você aprenderá algoritmos importantes de aprendizado de máquina. Você criará um mecanismo de recomendação de filmes e um filtro de spam e usará o k-means clustering.

Exercise 1: Visão geral do PySpark MLlib Exercise 2: Bibliotecas de ML do PySpark Exercise 3: Algoritmos MLlib do PySpark Exercise 4: Filtragem colaborativa Exercise 5: Carregar o conjunto de dados Movie Lens em RDDs Exercise 6: Treinamento e previsões de modelos Exercise 7: Avaliação do modelo usando MSE Exercise 8: Classificação Exercise 9: Carregar dados de spam e non-spam Exercise 10: Hash de recursos e LabelPoint Exercise 11: Treinamento do modelo de regressão logística Exercise 12: Clustering Exercise 13: Carregar e analisar dados de 5.000 pontos Exercise 14: Treinamento K-means Exercise 15: Visualização de clusters Exercise 16: Parabéns!