Evaluator बनाएँ
मॉडल चयन के लिए cross validation करते समय सबसे पहले आपको अलग-अलग मॉडलों की तुलना करने का तरीका चाहिए। अच्छी बात यह है कि pyspark.ml.evaluation सबमॉड्यूल में अलग-अलग तरह के मॉडलों को evaluate करने के लिए क्लासेज़ हैं। आपका मॉडल एक binary classification मॉडल है, इसलिए आप pyspark.ml.evaluation मॉड्यूल से BinaryClassificationEvaluator का उपयोग करेंगे.
यह evaluator ROC के नीचे का क्षेत्रफल (area under the ROC) निकालता है। यह ऐसा मेट्रिक है जो binary classifier की दो प्रकार की त्रुटियों (false positives और false negatives) को एक सरल संख्या में समेट देता है। इस अध्याय के अंत में आप इसके बारे में और विस्तार से जानेंगे!
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark की नींव
अभ्यास निर्देश
- सबमॉड्यूल
pyspark.ml.evaluationकोevalsनाम से import करें. evaluatorबनाएँ:evals.BinaryClassificationEvaluator()कोmetricName="areaUnderROC"आर्ग्युमेंट के साथ कॉल करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Import the evaluation submodule
import ____ as evals
# Create a BinaryClassificationEvaluator
evaluator = ____