O Spark é uma estrutura para você trabalhar com Big Data. Neste capítulo, você abordará algumas informações básicas sobre o Spark e o machine learning. Em seguida, você descobrirá como se conectar ao Spark usando Python e carregar dados CSV.

Machine learning e Spark

Características do Spark

Componentes em um cluster Spark

Conectando-se ao Spark

Localização do mestre Spark

Como criar uma SparkSession

Carregando dados

Carregando dados de voos

Carregamento de dados de spam de SMS

Introdução

Agora que você está familiarizado com a obtenção de dados no Spark, passará a criar dois tipos de modelo de classificação: Árvores de decisão e regressão logística. Você também conhecerá algumas abordagens para a preparação de dados.

Preparação de dados

Remoção de colunas e linhas

Manipulação de coluna

Colunas categóricas

Montagem de colunas

Árvore de decisão

Divisão de treinamento/teste

Criar uma árvore de decisão

Avaliar a árvore de decisão

Regressão logística

Criar um modelo de regressão logística

Avaliar o modelo de regressão logística

Transformando texto em tabelas

Pontuação, números e tokens

Stopwords e hashing

Treinamento de um classificador de spam

Classificação

Em seguida, você aprenderá a criar modelos de regressão linear. Você também descobrirá como aumentar seus dados com a engenharia de novos preditores, bem como uma abordagem robusta para selecionar apenas os preditores mais relevantes.

Codificação de um ponto

Codificação da origem do voo

Codificação de tamanhos de camisetas

Regressão

Modelo de duração de voo: Apenas distância

Interpretação dos coeficientes

Modelo de duração de voo: Adicionar aeroporto de origem

Interpretação de coeficientes

Baldeação e engenharia

Horário de partida da baldeação

Modelo de duração de voo: Adicionar horário de partida

Regularização

Modelo de duração de voo: Mais recursos!

Modelo de duração de voo: Regularização!

Por fim, você aprenderá a tornar seus modelos mais eficientes. Você descobrirá como usar pipelines para tornar seu código mais claro e fácil de manter. Em seguida, você usará a validação cruzada para testar melhor seus modelos e selecionar bons parâmetros de modelo. Por fim, você se dedicará a dois tipos de modelo de conjunto.

Pipeline

Modelo de duração de voo: Estágios do pipeline

Modelo de duração de voo: Modelo de tubulação

Pipeline de spam de SMS

Validação cruzada

Validação cruzada de um modelo simples de duração de voo

Validação cruzada do pipeline do modelo de duração de voo

Pesquisa na grade

Otimização da regressão linear de voos

Dissecando o melhor modelo de duração de voo

SMS otimizado para spam

Quantos modelos você tem para a pesquisa de grade?

Conjunto

Voos atrasados com árvores com reforço gradiente

Voos atrasados com uma floresta aleatória

Avaliação do Random Forest

Considerações finais

Conjuntos e pipelines

Flights

O Spark é uma ferramenta poderosa e de uso geral para você trabalhar com Big Data. O Spark lida de forma transparente com a distribuição de tarefas de computação em um cluster. Isso significa que as operações são rápidas, mas também permite que você se concentre na análise em vez de se preocupar com detalhes técnicos. Neste curso, você aprenderá como inserir dados no Spark e, em seguida, se aprofundará nos três algoritmos fundamentais do Spark Machine Learning: Regressão linear, regressão logística/classificadores e criação de pipelines. Ao longo do caminho, você analisará um grande conjunto de dados de atrasos de voos e mensagens de texto de spam. Com essa formação, você estará pronto para aproveitar o poder do Spark e aplicá-lo em seus próprios projetos de machine learning!

<h2>Aprenda a usar o Apache Spark para aprendizado de máquina</h2> 
O Spark é uma ferramenta avançada e de uso geral para trabalhar com Big Data. O Spark lida de forma transparente com a distribuição de tarefas de computação em um cluster. Isso significa que as operações são rápidas, mas também permite que você se concentre na análise em vez de se preocupar com detalhes técnicos. Neste curso, você aprenderá como colocar os dados no Spark e, em seguida, se aprofundará nos três algoritmos fundamentais do Spark Machine Learning: Regressão linear, regressão logística/classificadores e criação de pipelines.
<br><br> 
<h2>Criar e testar árvores de decisão</h2> 
Criar suas próprias árvores de decisão é uma ótima maneira de começar a explorar os modelos de aprendizado de máquina. Você usará um algoritmo chamado "Recursive Partitioning" para dividir os dados em duas classes e encontrar um preditor dentro dos dados que resulte na divisão mais informativa das duas classes, e repetirá essa ação com outros nós. Em seguida, você pode usar a árvore de decisão para fazer previsões com novos dados.
<br><br> 
<h2>Domine a regressão logística e linear no PySpark</h2> 
A regressão logística e linear são técnicas essenciais de aprendizado de máquina que são suportadas pelo PySpark. Você aprenderá a criar e avaliar modelos de regressão logística, antes de passar para a criação de modelos de regressão linear para ajudá-lo a refinar seus preditores para apenas as opções mais relevantes.
<br><br> 
Ao final do curso, você se sentirá confiante para aplicar seus novos conhecimentos de aprendizado de máquina, graças às tarefas práticas e aos conjuntos de dados práticos encontrados ao longo do curso.

Supervised Learning with scikit-learn

Introduction to PySpark

Aprenda a fazer previsões com Apache Spark usando árvores de decisão, regressões e pipelines.

Machine learning com PySpark

Saiba como fazer previsões a partir de dados com o Apache Spark, usando árvores de decisão, regressão logística, regressão linear, conjuntos e pipelines.