1
Introdução
Free
O Spark é uma estrutura para trabalhar com Big Data. Neste capítulo, você abordará algumas informações básicas sobre o Spark e a aprendizagem automática. Em seguida, você descobrirá como se conectar ao Spark usando Python e carregar os dados do CSV.
2
Classificação
Agora que você está familiarizado com a obtenção de dados no Spark, você passará a criar dois tipos de modelo de classificação: Árvores de decisão e regressão logística. Você também conhecerá algumas abordagens para a preparação de dados.
3
Regressão
Em seguida, você aprenderá a criar modelos de regressão linear. Você também descobrirá como aumentar seus dados com a engenharia de novos preditores, bem como uma abordagem robusta para selecionar apenas os preditores mais relevantes.
4
Conjuntos e pipelines
Por fim, você aprenderá a tornar seus modelos mais eficientes. Você descobrirá como usar pipelines para tornar seu código mais claro e fácil de manter. Em seguida, você usará a validação cruzada para testar melhor seus modelos e selecionar bons parâmetros de modelo. Por fim, você se dedicará a dois tipos de modelo de conjunto.

Initializing

Remoção de colunas e linhas

Você carregou anteriormente os dados de voo da companhia aérea de um arquivo CSV. Você vai desenvolver um modelo para prever se um determinado voo vai atrasar ou não.

Neste exercício, você precisa reduzir esses dados em:

remover uma coluna não informativa e
removendo as linhas que não têm informações sobre o atraso ou não de um voo.

Os dados estão disponíveis em flights.

Observação:: Você pode achar útil revisar os slides das lições no painel Slides, ao lado do shellIP ython.

Remova a coluna flight.
Descubra quantos registros têm valores ausentes na coluna delay.
Remova os registros com valores ausentes na coluna delay.
Remova os registros com valores ausentes em qualquer coluna e obtenha o número de linhas restantes.