Asamblează un vector
Ultimul pas din Pipeline este să combini toate coloanele care conțin caracteristicile noastre într-o singură coloană. Acest lucru trebuie făcut înainte de modelare, deoarece orice rutină de modelare din Spark se așteaptă ca datele să fie în această formă. Poți realiza acest lucru stocând fiecare valoare dintr-o coloană ca element al unui vector. Astfel, din perspectiva modelului, fiecare observație este un vector care conține toate informațiile despre aceasta, împreună cu o etichetă care indică valoarea corespunzătoare.
Din acest motiv, submodulul pyspark.ml.feature conține o clasă numită VectorAssembler. Acest Transformer preia toate coloanele pe care le specifici și le combină într-o nouă coloană de tip vector.
Acest exercițiu face parte din cursul
Fundamente PySpark
Instrucțiuni pentru exercițiu
- Creează un obiect
VectorAssemblerapelândVectorAssembler()cu numele coloanelor de intrare (inputCols) ca listă și numele coloanei de ieșire (outputCol)"features".- Lista de coloane trebuie să fie
["month", "air_time", "carrier_fact", "dest_fact", "plane_age"].
- Lista de coloane trebuie să fie
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Make a VectorAssembler
vec_assembler = VectorAssembler(inputCols=____, outputCol=____)