Kiểu dữ liệu đánh giá

Markus xem rất nhiều phim, gồm cả tài liệu, siêu anh hùng, kinh điển và chính kịch. Dựa trên kinh nghiệm trước đây của bạn với Spark, hãy dùng dataframe markus_ratings, chứa số lần Markus đã xem phim theo từng thể loại, và suy nghĩ xem đây là đánh giá ẩn (implicit) hay tường minh (explicit). Sử dụng phương thức groupBy() để xác định thể loại nào có số lần xem cao nhất, điều này có thể ảnh hưởng đến các gợi ý mà ALS sẽ tạo cho Markus.

Bài tập này là một phần của khóa học

Xây dựng Recommendation Engine với PySpark

Xem khóa học

Hướng dẫn bài tập

Dùng phương thức groupBy() để nhóm dataframe markus_ratings theo "Genre".
Áp dụng phương thức .sum() để lấy tổng số phim đã xem cho mỗi thể loại.
Nhớ thêm phương thức .show() ở cuối để xem số đếm.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Group the data by "Genre"
markus_ratings.____("____").____().____()

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Xây dựng Recommendation Engine với PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Chương này sẽ cho bạn thấy recommendation engine mạnh đến mức nào, và nêu rõ những khác biệt quan trọng giữa engine lọc cộng tác (collaborative filtering) và engine dựa trên nội dung (content-based), cũng như các loại dữ liệu ngầm định (implicit) và tường minh (explicit) mà recommendation engine có thể sử dụng. Bạn cũng sẽ học một cách tiếp cận rất mạnh để khám phá các đặc trưng ẩn (latent features) mà có thể bạn còn chưa biết là tồn tại trong các bộ dữ liệu khách hàng.

Exercise 1: Vì sao bạn nên học cách xây dựng hệ thống gợi ý?Exercise 2: Thấy sức mạnh của một hệ gợi ý Exercise 3: Sức mạnh của hệ thống gợi ý Exercise 4: Các loại hệ thống gợi ý và loại dữ liệu Exercise 5: Collaborative vs content-based filtering Exercise 6: Collaborative vs content-based filtering phần II Exercise 7: Dữ liệu ngầm định vs dữ liệu tường minh Exercise 8: Kiểu dữ liệu đánh giá

Bài tập hiện tại

Exercise 9: Các cách sử dụng hệ thống gợi ý Exercise 10: Những cách sử dụng khác của hệ thống gợi ý.Exercise 11: Xác nhận hiểu biết về các đặc trưng ẩn

Trong chương này, bạn sẽ ôn lại các khái niệm cơ bản về phép nhân ma trận và phân rã ma trận, đồng thời đi sâu vào cách thuật toán Alternating Least Squares vận hành và những tham số, siêu tham số mà nó sử dụng để trả về các gợi ý tốt nhất có thể. Bạn cũng sẽ học các kỹ thuật quan trọng để chuẩn bị dữ liệu đúng cách cho ALS trong Spark.

Exercise 1: Tổng quan về phép nhân ma trận Exercise 2: Nhân ma trận Exercise 3: Nhân ma trận - phần II Exercise 4: Tổng quan về phân rã ma trận Exercise 5: Phân rã ma trận Exercise 6: Phân rã ma trận không âm Exercise 7: ALS luân phiên như thế nào để tạo ra dự đoán Exercise 8: Ước lượng gợi ý Exercise 9: RMSE khi ALS luân phiên Exercise 10: Chuẩn bị dữ liệu cho Spark ALS Exercise 11: Định dạng đúng và danh sách người dùng duy nhất Exercise 12: Gán id số nguyên cho các bộ phim Exercise 13: Tham số và siêu tham số của ALS Exercise 14: Xây dựng mô hình ALS Exercise 15: Xây dựng bộ đánh giá RMSE Exercise 16: Lấy RMSE

Trong chương này, bạn sẽ được giới thiệu về bộ dữ liệu MovieLens. Bạn sẽ đi qua cách đánh giá mức độ phù hợp của nó cho ALS, xây dựng một mô hình ALS đầy đủ có cross-validation trên dữ liệu này, và học cách đánh giá hiệu năng của mô hình. Đây sẽ là nền tảng cho tất cả các mô hình ALS tiếp theo bạn xây dựng bằng Pyspark.

Exercise 1: Giới thiệu về bộ dữ liệu MovieLens Exercise 2: Xem dữ liệu MovieLens Exercise 3: Tính độ thưa (sparsity)Exercise 4: Phương thức GroupBy và Filter Exercise 5: Thống kê tóm tắt MovieLens Exercise 6: Xem Schema Exercise 7: Xây dựng mô hình ALS trên dữ liệu MovieLens Exercise 8: Tạo tập train/test và xây dựng mô hình ALS Exercise 9: Cho Spark biết cách tinh chỉnh mô hình ALS của bạn Exercise 10: Xây dựng pipeline cross validation Exercise 11: Mô hình tốt nhất và các tham số của mô hình Exercise 12: Đánh giá hiệu năng mô hình Exercise 13: Tạo dự đoán và tính RMSE Exercise 14: Diễn giải RMSE Exercise 15: Các gợi ý có hợp lý không

Trong hầu hết tình huống thực tế, bạn sẽ không có dữ liệu khách hàng "hoàn hảo" để xây dựng mô hình ALS. Chương này sẽ dạy bạn cách sử dụng dữ liệu hành vi của khách hàng để "suy luận" điểm đánh giá và dùng các điểm đánh giá suy luận đó để xây dựng một recommendation engine bằng ALS. Sử dụng Million Songs Dataset cũng như một phiên bản khác của MovieLens, chương này sẽ chỉ cho bạn cách dùng dữ liệu sẵn có để xây dựng recommendation engine với ALS và đánh giá hiệu năng của nó.

Exercise 1: Giới thiệu về Million Songs Dataset Exercise 2: Xác nhận hiểu biết về khái niệm đánh giá ngầm định Exercise 3: Thống kê tóm tắt MSD Exercise 4: Thống kê tóm tắt theo nhóm Exercise 5: Thêm số 0 Exercise 6: Đánh giá mô hình xếp hạng ngầm định Exercise 7: Chỉ định các siêu tham số cho ALS Exercise 8: Xây dựng mô hình implicit Exercise 9: Chạy mô hình implicit ALS với cross-validation Exercise 10: Trích xuất tham số Exercise 11: Tổng quan về xếp hạng nhị phân, ngầm định Exercise 12: Hiệu năng của mô hình nhị phân Exercise 13: Gợi ý từ dữ liệu nhị phân Exercise 14: Tổng kết khóa học