Confusion matrix

जब रिस्पॉन्स वैरिएबल के केवल दो संभावित नतीजे हों, जैसे churn का मामला, तो मॉडल की सफलता के माप यह होते हैं: "जिन मामलों में कस्टमर ने churn किया, उनमें से कितनों की मॉडल ने सही भविष्यवाणी की?" और "जिन मामलों में कस्टमर ने churn नहीं किया, उनमें से कितनों की मॉडल ने सही भविष्यवाणी की?". इन्हें confusion matrix बनाकर और उस पर summary metrics निकालकर पाया जा सकता है.

निम्नलिखित परिभाषाएँ याद रखें:

Accuracy उन प्रेडिक्शनों का अनुपात है जो सही हैं. $$ \text{accuracy} = \frac{TN + TP}{TN + FN + FP + TP} $$

Sensitivity उन true ऑब्ज़र्वेशनों का अनुपात है जिन्हें मॉडल ने true के रूप में सही पहचाना. $$ \text{sensitivity} = \frac{TP}{TP + FN} $$

Specificity उन false ऑब्ज़र्वेशनों का अनुपात है जिन्हें मॉडल ने false के रूप में सही पहचाना. $$ \text{specificity} = \frac{TN}{TN + FP} $$

churn और mdl_churn_vs_both_inter उपलब्ध हैं.