출발 공항 인코딩
항공편 데이터의 org 열은 출발 공항을 나타내는 범주형 변수입니다.
- ORD — 오헤어 국제공항 (시카고)
- SFO — 샌프란시스코 국제공항
- JFK — 존 F. 케네디 국제공항 (뉴욕)
- LGA — 라과디아 공항 (뉴욕)
- SMF — 새크라멘토
- SJC — 산호세
- OGG — 카훌루이 (하와이)
이 목록은 전체 공항 중 일부에 불과합니다. 하지만 org는 범주형 변수이므로 회귀 모델에 사용하기 전에 원-핫 인코딩(One-Hot Encoding)이 필요합니다.
데이터는 flights라는 변수에 저장되어 있습니다. 이미 문자열 인덱서를 사용하여 org의 문자열 값에 대응하는 인덱스 열을 생성해 두었습니다.
IPython Shell 옆의 슬라이드 패널에서 레슨 슬라이드를 다시 확인하면 도움이 될 수 있습니다.
이 연습은 강의의 일부입니다
PySpark로 하는 Machine Learning
연습 안내
- 원-핫 인코더 클래스를 임포트하세요.
- 입력 열 이름을
org_idx, 출력 열 이름을org_dummy로 지정하여 원-핫 인코더 인스턴스를 생성하세요. - 항공편 데이터에 원-핫 인코더를 적용하세요.
- 범주형 값이 이진 더미 변수로 매핑되는 방식을 요약하여 확인하세요. 고유한 값만 포함하고
org_idx기준으로 정렬하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Import the one hot encoder class
from pyspark.ml.____ import ____
# Create an instance of the one hot encoder
onehot = ____(inputCols=[____], outputCols=[____])
# Apply the one hot encoder to the flights data
onehot = onehot.____(____)
flights_onehot = onehot.____(____)
# Check the results
flights_onehot.____('org', 'org_idx', 'org_dummy').____().____('org_idx').show()