모델 성능 비교
플로팅은 모델이 어디에서 잘 작동하고 어디에서 그렇지 않은지 감을 잡는 데 좋습니다. 때로는 모델에 점수를 매겨 주는 통계값이 있으면 편리합니다. 이렇게 하면 모델의 성능을 수치화하고 많은 모델 간에 비교할 수 있어요. 흔히 쓰이는 통계는 root mean square error(약어로 "RMSE")로, 잔차를 제곱한 뒤 평균을 내고 다시 제곱근을 취한 값입니다. 특정 데이터셋에서 RMSE가 작을수록 예측이 더 좋다는 뜻입니다. (기본적으로 서로 다른 데이터셋끼리는 비교할 수 없고, 같은 데이터셋에서의 다른 모델끼리만 비교할 수 있어요. 때로는 데이터셋을 정규화하여 서로 비교 가능하게 만들기도 합니다.)
여기서는 gradient boosted trees와 random forest 모델을 비교해 보겠습니다.
이 연습은 강의의 일부입니다
R에서 sparklyr로 시작하는 Spark
연습 안내
두 모델의 예측 연도와 실제 연도가 들어 있는 지역 tibble both_responses가 미리 정의되어 있습니다.
- 잔차 제곱합 데이터셋을 만드세요.
- 예측값에서 실제값을 뺀 값을
residual열로 추가하세요. - 데이터를
model로 그룹화하세요. residual의 제곱의 평균에 제곱근을 취한 값을rmse라는 요약 통계로 계산하세요.
- 예측값에서 실제값을 뺀 값을
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# both_responses has been pre-defined
both_responses
# Create a residual sum of squares dataset
___