Tạo evaluator
Điều đầu tiên bạn cần khi thực hiện cross validation để chọn mô hình là một cách để so sánh các mô hình khác nhau. May mắn là submodule pyspark.ml.evaluation có các lớp để đánh giá nhiều loại mô hình. Mô hình của bạn là mô hình phân loại nhị phân, nên bạn sẽ dùng BinaryClassificationEvaluator từ module pyspark.ml.evaluation.
Evaluator này tính diện tích dưới đường cong ROC. Đây là một thước đo kết hợp hai loại lỗi mà bộ phân loại nhị phân có thể mắc (dương tính giả và âm tính giả) thành một con số đơn giản. Bạn sẽ học thêm về điều này ở cuối chương!
Bài tập này là một phần của khóa học
Nền tảng về PySpark
Hướng dẫn bài tập
- Import submodule
pyspark.ml.evaluationvới bí danhevals. - Tạo
evaluatorbằng cách gọievals.BinaryClassificationEvaluator()với đối sốmetricName="areaUnderROC".
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import the evaluation submodule
import ____ as evals
# Create a BinaryClassificationEvaluator
evaluator = ____