Codificación del origen del vuelo
La columna org en los datos de vuelos es una variable categórica que indica desde qué aeropuerto despega un vuelo.
- ORD — Aeropuerto Internacional O'Hare (Chicago)
- SFO — Aeropuerto Internacional de San Francisco
- JFK — Aeropuerto Internacional John F. Kennedy (Nueva York)
- LGA — Aeropuerto LaGuardia (Nueva York)
- SMF — Sacramento
- SJC — San José
- OGG — Kahului (Hawái)
Obviamente, esto es solo un pequeño subconjunto de aeropuertos. Aun así, como es una variable categórica, necesita codificarse con one-hot antes de poder usarse en un modelo de regresión.
Los datos están en una variable llamada flights. Ya has usado un indexador de cadenas para crear una columna de valores indexados correspondientes a las cadenas en org.
Puede que te resulte útil repasar las diapositivas de las lecciones en el panel de Slides junto a la IPython Shell.
Este ejercicio forma parte del curso
Machine learning con PySpark
Instrucciones del ejercicio
- Importa la clase de one-hot encoder.
- Crea una instancia del one-hot encoder, nombrando la columna de entrada
org_idxy la columna de salidaorg_dummy. - Aplica el one-hot encoder a los datos de vuelos.
- Genera un resumen del mapeo de valores categóricos a variables ficticias binarias. Incluye solo valores únicos y ordena por
org_idx.
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
# Import the one hot encoder class
from pyspark.ml.____ import ____
# Create an instance of the one hot encoder
onehot = ____(inputCols=[____], outputCols=[____])
# Apply the one hot encoder to the flights data
onehot = onehot.____(____)
flights_onehot = onehot.____(____)
# Check the results
flights_onehot.____('org', 'org_idx', 'org_dummy').____().____('org_idx').show()