Bắt đầu ngayBắt đầu miễn phí

Xây dựng bộ đánh giá RMSE

Giờ bạn đã biết cách fit mô hình với dữ liệu huấn luyện và tạo dự đoán trên dữ liệu kiểm tra, bạn cần một cách để đánh giá hiệu quả của mô hình. Chúng ta sẽ xây dựng một evaluator. Trong Spark, evaluator có thể được xây dựng theo nhiều cách khác nhau. Với mục đích ở đây, chúng ta cần một regressionEvaluator để tính RMSE. Sau khi xây dựng regressionEvaluator, bạn có thể fit mô hình lên dữ liệu và tạo dự đoán.

Bài tập này là một phần của khóa học

Xây dựng Recommendation Engine với PySpark

Xem khóa học

Hướng dẫn bài tập

  • Import gói RegressionEvaluator cần thiết từ lớp pyspark.ml.evaluation.
  • Hoàn thiện mã evaluator, chỉ định metric name là "rmse". Đặt labelCol trùng với tên cột trong dữ liệu ratings chứa điểm đánh giá (dùng phương thức ratings.columns để xem tên cột) và đặt tên cột prediction là "prediction".
  • Xác nhận evaluator đã được tạo đúng bằng cách trích xuất từng tham số trong ba tham số của nó. Thực hiện bằng cách chạy 3 dòng mã sau, mỗi dòng trong một câu lệnh print:
    • evaluator.getMetricName()
    • evaluator.getLabelCol()
    • evaluator.getPredictionCol()

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Import RegressionEvaluator
from pyspark.ml.evaluation import ____

# Complete the evaluator code
evaluator = RegressionEvaluator(metricName="____", labelCol="____", predictionCol="____")

# Extract the 3 parameters
print(evaluator.get____())
print(evaluator.get____())
print(evaluator.get____())
Chỉnh sửa và Chạy Mã