1. Aprender
    2. /
  2. Cursos
    3. /
  3. Aprendizado de máquina com PySpark
  • 1

    Introdução

    Gratuito

    O Spark é uma estrutura para trabalhar com Big Data. Neste capítulo, você abordará algumas informações básicas sobre o Spark e a aprendizagem automática. Em seguida, você descobrirá como se conectar ao Spark usando Python e carregar os dados do CSV.

  • 2

    Classificação

    Agora que você está familiarizado com a obtenção de dados no Spark, você passará a criar dois tipos de modelo de classificação: Árvores de decisão e regressão logística. Você também conhecerá algumas abordagens para a preparação de dados.

  • 3

    Regressão

    Em seguida, você aprenderá a criar modelos de regressão linear. Você também descobrirá como aumentar seus dados com a engenharia de novos preditores, bem como uma abordagem robusta para selecionar apenas os preditores mais relevantes.

  • 4

    Conjuntos e pipelines

    Por fim, você aprenderá a tornar seus modelos mais eficientes. Você descobrirá como usar pipelines para tornar seu código mais claro e fácil de manter. Em seguida, você usará a validação cruzada para testar melhor seus modelos e selecionar bons parâmetros de modelo. Por fim, você se dedicará a dois tipos de modelo de conjunto.

Initializing

Exercicio

Remoção de colunas e linhas

Você carregou anteriormente os dados de voo da companhia aérea de um arquivo CSV. Você vai desenvolver um modelo para prever se um determinado voo vai atrasar ou não.

Neste exercício, você precisa reduzir esses dados em:

  1. remover uma coluna não informativa e
  2. removendo as linhas que não têm informações sobre o atraso ou não de um voo.

Os dados estão disponíveis em flights.

Observação:: Você pode achar útil revisar os slides das lições no painel Slides, ao lado do shellIP ython.

Instruções

100 XP
  • Remova a coluna flight.
  • Descubra quantos registros têm valores ausentes na coluna delay.
  • Remova os registros com valores ausentes na coluna delay.
  • Remova os registros com valores ausentes em qualquer coluna e obtenha o número de linhas restantes.