로지스틱 회귀 모델 평가하기
정확도(Accuracy)는 가장 빈번한 목표 클래스에 편향될 수 있어, 일반적으로 신뢰성이 높은 지표라고 보기 어렵습니다.
이를 보완하는 두 가지 유용한 지표가 있습니다.
- 정밀도(Precision)와
- 재현율(Recall)입니다.
각 수식은 이 레슨의 슬라이드를 참고하세요.
정밀도는 양성으로 예측된 결과 중 실제로 양성인 비율입니다. 즉, 지연될 것으로 예측된 항공편 중 실제로 지연된 비율은 얼마일까요?
재현율은 실제 양성 결과 중 모델이 올바르게 예측한 비율입니다. 즉, 실제로 지연된 항공편 중 모델이 정확하게 예측한 비율은 얼마일까요?
정밀도와 재현율은 일반적으로 양성 목표 클래스를 기준으로 계산됩니다. 하지만 두 목표 클래스를 모두 고려하는 가중(Weighted) 버전으로도 계산할 수 있습니다.
혼동 행렬(Confusion Matrix)의 구성 요소는 TN, TP, FN, FP로 제공되며, prediction 객체도 함께 사용할 수 있습니다.
이 연습은 강의의 일부입니다
PySpark로 하는 Machine Learning
연습 안내
- 정밀도와 재현율을 구하세요.
- 다중 클래스 평가자를 생성하고 가중 정밀도를 평가하세요.
- 이진 평가자를 생성하고
"areaUnderROC"지표를 사용하여 AUC를 평가하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
from pyspark.ml.evaluation import MulticlassClassificationEvaluator, BinaryClassificationEvaluator
# Calculate precision and recall
precision = ____
recall = ____
print('precision = {:.2f}\nrecall = {:.2f}'.format(precision, recall))
# Find weighted precision
multi_evaluator = ____
weighted_precision = multi_evaluator.____(prediction, {multi_evaluator.metricName: "____"})
# Find AUC
binary_evaluator = ____
auc = binary_evaluator.____(____, {____})