Specificity 계산하기

모델 성능을 다양한 지표로 평가하면 더 정확하게 파악할 수 있습니다. 사용 사례에 따라 여러 가지 지표가 있습니다. Specificity(특이도)는 true negative를 올바르게 판별한 비율을 측정합니다:

$$\text{specificity} = \frac{TN}{TN + FP}$$

이 식은 specificity가 100%에 가까워질수록 false positives(FP)가 0에 가까워짐을 의미합니다.

이 연습 문제에서는 교차 검증을 사용해 모델의 샘플 외 specificity를 살펴보겠습니다.

신용카드 고객 데이터셋의 학습 데이터 customers_train과, 아래 코드로 생성한 결정 트리 사양 tree_spec이 미리 로드되어 있습니다:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

customers_train의 CV 폴드를 3개 생성해 folds로 저장하세요.
fit_resamples() 함수를 사용해 교차 검증된 specificity를 계산하세요. 이 함수에는 모델 사양 tree_spec, 모델 포뮬러, CV 폴드, 그리고 적절한 metric set이 필요합니다. 모든 예측 변수를 사용해 still_customer를 예측하고, 결과를 specificities에 저장하세요.
단일 함수를 사용해 결과를 집계하세요.

अभ्यास