Thấy sức mạnh của một hệ gợi ý

Taylor và Jane đều thích xem phim. Taylor chỉ thích chính kịch, hài và lãng mạn. Jane thì chỉ thích hành động, phiêu lưu và những phim giàu kịch tính. Một trong những lợi ích lớn nhất của các hệ gợi ý dựa trên ALS là chúng có thể tìm ra những bộ phim hoặc sản phẩm mà người dùng sẽ thích, ngay cả khi bản thân họ nghĩ là mình sẽ không thích. Hãy xem các điểm đánh giá phim mà Taylor và Jane đưa ra bên dưới. Có lý khi kỳ vọng rằng sở thích khác nhau sẽ dẫn đến các gợi ý khác nhau.

Khóa học này đề cập đến nhiều khái niệm có thể bạn đã quên, nên nếu cần ôn nhanh, hãy tải PySpark Cheat Sheet và giữ sẵn để tra cứu!

Bài tập này là một phần của khóa học

Xây dựng Recommendation Engine với PySpark

Xem khóa học

Hướng dẫn bài tập

Xem TJ_ratings bằng phương thức .show() và bất kỳ phương thức nào khác bạn muốn để thấy mỗi người đã chấm điểm các phim họ xem như thế nào.
Nhập tên người dùng vào hàm get_ALS_recs() đã cung cấp để xem ALS gợi ý phim nào cho Jane và Taylor dựa trên các đánh giá đó. Những gợi ý này có hợp lý với bạn không?

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# View TJ_ratings
TJ_ratings.show()

# Generate recommendations for users
get_ALS_recs(["____","____"])

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Xây dựng Recommendation Engine với PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Chương này sẽ cho bạn thấy recommendation engine mạnh đến mức nào, và nêu rõ những khác biệt quan trọng giữa engine lọc cộng tác (collaborative filtering) và engine dựa trên nội dung (content-based), cũng như các loại dữ liệu ngầm định (implicit) và tường minh (explicit) mà recommendation engine có thể sử dụng. Bạn cũng sẽ học một cách tiếp cận rất mạnh để khám phá các đặc trưng ẩn (latent features) mà có thể bạn còn chưa biết là tồn tại trong các bộ dữ liệu khách hàng.

Exercise 1: Vì sao bạn nên học cách xây dựng hệ thống gợi ý?Exercise 2: Thấy sức mạnh của một hệ gợi ý

Bài tập hiện tại

Exercise 3: Sức mạnh của hệ thống gợi ý Exercise 4: Các loại hệ thống gợi ý và loại dữ liệu Exercise 5: Collaborative vs content-based filtering Exercise 6: Collaborative vs content-based filtering phần II Exercise 7: Dữ liệu ngầm định vs dữ liệu tường minh Exercise 8: Kiểu dữ liệu đánh giá Exercise 9: Các cách sử dụng hệ thống gợi ý Exercise 10: Những cách sử dụng khác của hệ thống gợi ý.Exercise 11: Xác nhận hiểu biết về các đặc trưng ẩn

Trong chương này, bạn sẽ ôn lại các khái niệm cơ bản về phép nhân ma trận và phân rã ma trận, đồng thời đi sâu vào cách thuật toán Alternating Least Squares vận hành và những tham số, siêu tham số mà nó sử dụng để trả về các gợi ý tốt nhất có thể. Bạn cũng sẽ học các kỹ thuật quan trọng để chuẩn bị dữ liệu đúng cách cho ALS trong Spark.

Exercise 1: Tổng quan về phép nhân ma trận Exercise 2: Nhân ma trận Exercise 3: Nhân ma trận - phần II Exercise 4: Tổng quan về phân rã ma trận Exercise 5: Phân rã ma trận Exercise 6: Phân rã ma trận không âm Exercise 7: ALS luân phiên như thế nào để tạo ra dự đoán Exercise 8: Ước lượng gợi ý Exercise 9: RMSE khi ALS luân phiên Exercise 10: Chuẩn bị dữ liệu cho Spark ALS Exercise 11: Định dạng đúng và danh sách người dùng duy nhất Exercise 12: Gán id số nguyên cho các bộ phim Exercise 13: Tham số và siêu tham số của ALS Exercise 14: Xây dựng mô hình ALS Exercise 15: Xây dựng bộ đánh giá RMSE Exercise 16: Lấy RMSE

Trong chương này, bạn sẽ được giới thiệu về bộ dữ liệu MovieLens. Bạn sẽ đi qua cách đánh giá mức độ phù hợp của nó cho ALS, xây dựng một mô hình ALS đầy đủ có cross-validation trên dữ liệu này, và học cách đánh giá hiệu năng của mô hình. Đây sẽ là nền tảng cho tất cả các mô hình ALS tiếp theo bạn xây dựng bằng Pyspark.

Exercise 1: Giới thiệu về bộ dữ liệu MovieLens Exercise 2: Xem dữ liệu MovieLens Exercise 3: Tính độ thưa (sparsity)Exercise 4: Phương thức GroupBy và Filter Exercise 5: Thống kê tóm tắt MovieLens Exercise 6: Xem Schema Exercise 7: Xây dựng mô hình ALS trên dữ liệu MovieLens Exercise 8: Tạo tập train/test và xây dựng mô hình ALS Exercise 9: Cho Spark biết cách tinh chỉnh mô hình ALS của bạn Exercise 10: Xây dựng pipeline cross validation Exercise 11: Mô hình tốt nhất và các tham số của mô hình Exercise 12: Đánh giá hiệu năng mô hình Exercise 13: Tạo dự đoán và tính RMSE Exercise 14: Diễn giải RMSE Exercise 15: Các gợi ý có hợp lý không

Trong hầu hết tình huống thực tế, bạn sẽ không có dữ liệu khách hàng "hoàn hảo" để xây dựng mô hình ALS. Chương này sẽ dạy bạn cách sử dụng dữ liệu hành vi của khách hàng để "suy luận" điểm đánh giá và dùng các điểm đánh giá suy luận đó để xây dựng một recommendation engine bằng ALS. Sử dụng Million Songs Dataset cũng như một phiên bản khác của MovieLens, chương này sẽ chỉ cho bạn cách dùng dữ liệu sẵn có để xây dựng recommendation engine với ALS và đánh giá hiệu năng của nó.

Exercise 1: Giới thiệu về Million Songs Dataset Exercise 2: Xác nhận hiểu biết về khái niệm đánh giá ngầm định Exercise 3: Thống kê tóm tắt MSD Exercise 4: Thống kê tóm tắt theo nhóm Exercise 5: Thêm số 0 Exercise 6: Đánh giá mô hình xếp hạng ngầm định Exercise 7: Chỉ định các siêu tham số cho ALS Exercise 8: Xây dựng mô hình implicit Exercise 9: Chạy mô hình implicit ALS với cross-validation Exercise 10: Trích xuất tham số Exercise 11: Tổng quan về xếp hạng nhị phân, ngầm định Exercise 12: Hiệu năng của mô hình nhị phân Exercise 13: Gợi ý từ dữ liệu nhị phân Exercise 14: Tổng kết khóa học