Xây dựng pipeline cross validation

Giờ bạn đã có dữ liệu, các tập train/test, mô hình và các giá trị siêu tham số. Hãy hướng dẫn Spark cách cross-validate mô hình để tìm ra tổ hợp siêu tham số tốt nhất và trả về cho bạn.

Bài tập này là một phần của khóa học

Xây dựng Recommendation Engine với PySpark

Xem khóa học

Hướng dẫn bài tập

Tạo một CrossValidator tên cv với mô hình als làm estimator, đặt estimatorParamMaps là param_grid bạn vừa xây dựng. Báo cho Spark rằng evaluator sẽ dùng là "evaluator" mà chúng ta đã tạo trước đó. Đặt numFolds bằng 5.
Xác nhận cv đã được tạo bằng cách in cv.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Build cross validation using CrossValidator
____ = CrossValidator(estimator=____, estimatorParamMaps=____, evaluator=____, numFolds=____)

# Confirm cv was built
print(____)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Xây dựng Recommendation Engine với PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Chương này sẽ cho bạn thấy recommendation engine mạnh đến mức nào, và nêu rõ những khác biệt quan trọng giữa engine lọc cộng tác (collaborative filtering) và engine dựa trên nội dung (content-based), cũng như các loại dữ liệu ngầm định (implicit) và tường minh (explicit) mà recommendation engine có thể sử dụng. Bạn cũng sẽ học một cách tiếp cận rất mạnh để khám phá các đặc trưng ẩn (latent features) mà có thể bạn còn chưa biết là tồn tại trong các bộ dữ liệu khách hàng.

Exercise 1: Vì sao bạn nên học cách xây dựng hệ thống gợi ý?Exercise 2: Thấy sức mạnh của một hệ gợi ý Exercise 3: Sức mạnh của hệ thống gợi ý Exercise 4: Các loại hệ thống gợi ý và loại dữ liệu Exercise 5: Collaborative vs content-based filtering Exercise 6: Collaborative vs content-based filtering phần II Exercise 7: Dữ liệu ngầm định vs dữ liệu tường minh Exercise 8: Kiểu dữ liệu đánh giá Exercise 9: Các cách sử dụng hệ thống gợi ý Exercise 10: Những cách sử dụng khác của hệ thống gợi ý.Exercise 11: Xác nhận hiểu biết về các đặc trưng ẩn

Trong chương này, bạn sẽ ôn lại các khái niệm cơ bản về phép nhân ma trận và phân rã ma trận, đồng thời đi sâu vào cách thuật toán Alternating Least Squares vận hành và những tham số, siêu tham số mà nó sử dụng để trả về các gợi ý tốt nhất có thể. Bạn cũng sẽ học các kỹ thuật quan trọng để chuẩn bị dữ liệu đúng cách cho ALS trong Spark.

Exercise 1: Tổng quan về phép nhân ma trận Exercise 2: Nhân ma trận Exercise 3: Nhân ma trận - phần II Exercise 4: Tổng quan về phân rã ma trận Exercise 5: Phân rã ma trận Exercise 6: Phân rã ma trận không âm Exercise 7: ALS luân phiên như thế nào để tạo ra dự đoán Exercise 8: Ước lượng gợi ý Exercise 9: RMSE khi ALS luân phiên Exercise 10: Chuẩn bị dữ liệu cho Spark ALS Exercise 11: Định dạng đúng và danh sách người dùng duy nhất Exercise 12: Gán id số nguyên cho các bộ phim Exercise 13: Tham số và siêu tham số của ALS Exercise 14: Xây dựng mô hình ALS Exercise 15: Xây dựng bộ đánh giá RMSE Exercise 16: Lấy RMSE

Trong chương này, bạn sẽ được giới thiệu về bộ dữ liệu MovieLens. Bạn sẽ đi qua cách đánh giá mức độ phù hợp của nó cho ALS, xây dựng một mô hình ALS đầy đủ có cross-validation trên dữ liệu này, và học cách đánh giá hiệu năng của mô hình. Đây sẽ là nền tảng cho tất cả các mô hình ALS tiếp theo bạn xây dựng bằng Pyspark.

Exercise 1: Giới thiệu về bộ dữ liệu MovieLens Exercise 2: Xem dữ liệu MovieLens Exercise 3: Tính độ thưa (sparsity)Exercise 4: Phương thức GroupBy và Filter Exercise 5: Thống kê tóm tắt MovieLens Exercise 6: Xem Schema Exercise 7: Xây dựng mô hình ALS trên dữ liệu MovieLens Exercise 8: Tạo tập train/test và xây dựng mô hình ALS Exercise 9: Cho Spark biết cách tinh chỉnh mô hình ALS của bạn Exercise 10: Xây dựng pipeline cross validation

Bài tập hiện tại

Exercise 11: Mô hình tốt nhất và các tham số của mô hình Exercise 12: Đánh giá hiệu năng mô hình Exercise 13: Tạo dự đoán và tính RMSE Exercise 14: Diễn giải RMSE Exercise 15: Các gợi ý có hợp lý không

Trong hầu hết tình huống thực tế, bạn sẽ không có dữ liệu khách hàng "hoàn hảo" để xây dựng mô hình ALS. Chương này sẽ dạy bạn cách sử dụng dữ liệu hành vi của khách hàng để "suy luận" điểm đánh giá và dùng các điểm đánh giá suy luận đó để xây dựng một recommendation engine bằng ALS. Sử dụng Million Songs Dataset cũng như một phiên bản khác của MovieLens, chương này sẽ chỉ cho bạn cách dùng dữ liệu sẵn có để xây dựng recommendation engine với ALS và đánh giá hiệu năng của nó.

Exercise 1: Giới thiệu về Million Songs Dataset Exercise 2: Xác nhận hiểu biết về khái niệm đánh giá ngầm định Exercise 3: Thống kê tóm tắt MSD Exercise 4: Thống kê tóm tắt theo nhóm Exercise 5: Thêm số 0 Exercise 6: Đánh giá mô hình xếp hạng ngầm định Exercise 7: Chỉ định các siêu tham số cho ALS Exercise 8: Xây dựng mô hình implicit Exercise 9: Chạy mô hình implicit ALS với cross-validation Exercise 10: Trích xuất tham số Exercise 11: Tổng quan về xếp hạng nhị phân, ngầm định Exercise 12: Hiệu năng của mô hình nhị phân Exercise 13: Gợi ý từ dữ liệu nhị phân Exercise 14: Tổng kết khóa học