벡터 조합하기
Pipeline의 마지막 단계는 특징이 들어 있는 모든 열을 하나의 열로 합치는 것입니다. 이는 모델링을 시작하기 전에 반드시 해야 하는 작업이에요. 모든 Spark 모델링 루틴은 데이터가 이런 형태이길 기대하거든요. 열의 각 값을 벡터의 항목으로 저장하면 됩니다. 그러면 모델의 관점에서 각 관측치는 그에 관한 모든 정보가 담긴 벡터와, 그 관측치가 어떤 값을 의미하는지 알려 주는 레이블로 이루어지게 됩니다.
이 때문에 pyspark.ml.feature 하위 모듈에는 VectorAssembler라는 클래스가 있습니다. 이 Transformer는 지정한 모든 열을 받아 하나의 새로운 벡터 열로 결합합니다.
이 연습은 강의의 일부입니다
PySpark 기초
연습 안내
inputCols이름을 리스트로,outputCol이름은"features"로 하여VectorAssembler()를 호출해VectorAssembler를 생성하세요.- 열 이름 리스트는
["month", "air_time", "carrier_fact", "dest_fact", "plane_age"]여야 합니다.
- 열 이름 리스트는
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Make a VectorAssembler
vec_assembler = VectorAssembler(inputCols=____, outputCol=____)