Codificando a origem do voo
A coluna org nos dados de voos é uma variável categórica que indica o aeroporto de onde o voo parte.
- ORD — O'Hare International Airport (Chicago)
- SFO — San Francisco International Airport
- JFK — John F Kennedy International Airport (Nova York)
- LGA — La Guardia Airport (Nova York)
- SMF — Sacramento
- SJC — San Jose
- OGG — Kahului (Havaí)
Obviamente, este é apenas um pequeno subconjunto de aeroportos. Mesmo assim, como é uma variável categórica, ela precisa ser codificada em one-hot antes de ser usada em um modelo de regressão.
Os dados estão em uma variável chamada flights. Você já usou um indexador de strings para criar uma coluna de valores indexados correspondentes às strings em org.
Pode ser útil revisar os slides das lições no painel Slides ao lado do IPython Shell.
Este exercicio faz parte do curso
Machine learning com PySpark
Instruções do exercicio
- Importe a classe de one-hot encoder.
- Crie uma instância do one-hot encoder, nomeando a coluna de entrada como
org_idxe a coluna de saída comoorg_dummy. - Aplique o one-hot encoder aos dados de voos.
- Gere um resumo do mapeamento de valores categóricos para variáveis binárias dummy. Inclua apenas valores únicos e ordene por
org_idx.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Import the one hot encoder class
from pyspark.ml.____ import ____
# Create an instance of the one hot encoder
onehot = ____(inputCols=[____], outputCols=[____])
# Apply the one hot encoder to the flights data
onehot = onehot.____(____)
flights_onehot = onehot.____(____)
# Check the results
flights_onehot.____('org', 'org_idx', 'org_dummy').____().____('org_idx').show()