시작하기무료로 시작하기

Specificity 계산하기

모델 성능을 다양한 지표로 평가하면 더 정확하게 파악할 수 있습니다. 사용 사례에 따라 여러 가지 지표가 있습니다. Specificity(특이도)는 true negative를 올바르게 판별한 비율을 측정합니다:

$$\text{specificity} = \frac{TN}{TN + FP}$$

이 식은 specificity가 100%에 가까워질수록 false positives(FP)가 0에 가까워짐을 의미합니다.

이 연습 문제에서는 교차 검증을 사용해 모델의 샘플 외 specificity를 살펴보겠습니다.

신용카드 고객 데이터셋의 학습 데이터 customers_train과, 아래 코드로 생성한 결정 트리 사양 tree_spec이 미리 로드되어 있습니다:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

이 연습은 강의의 일부입니다

R로 배우는 트리 기반 Machine Learning

강의 보기

연습 안내

  • customers_train의 CV 폴드를 3개 생성해 folds로 저장하세요.
  • fit_resamples() 함수를 사용해 교차 검증된 specificity를 계산하세요. 이 함수에는 모델 사양 tree_spec, 모델 포뮬러, CV 폴드, 그리고 적절한 metric set이 필요합니다. 모든 예측 변수를 사용해 still_customer를 예측하고, 결과를 specificities에 저장하세요.
  • 단일 함수를 사용해 결과를 집계하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Create CV folds of the training data
folds <- ___(customers_train, v = ___)

# Calculate CV specificity
specificities <- ___(___, 
                     ___,
                     resamples = ___,
                     metrics = ___)

# Collect the metrics
___(specificities)
코드 편집 및 실행