Xem Schema

Như bạn đã biết từ các chương trước, triển khai ALS của Spark yêu cầu movieId và userId phải ở kiểu dữ liệu integer. Nhiều bộ dữ liệu cần được chuẩn bị tương ứng để làm việc đúng với Spark. Một vấn đề thường gặp là Spark hiểu nhầm số là chuỗi và ngược lại.

Tại đây, bạn sẽ dùng phương thức .cast() để xử lý các vấn đề kiểu này. Hãy xem schema của bộ dữ liệu để đảm bảo nó có định dạng đúng.

Bài tập này là một phần của khóa học

Xây dựng Recommendation Engine với PySpark

Xem khóa học

Hướng dẫn bài tập

Dùng .printSchema() để kiểm tra liệu tập dữ liệu ratings có các kiểu dữ liệu phù hợp để ALS hoạt động đúng hay không. userId và movieId có ở kiểu integer không? Các rating có ở định dạng số không?
Đảm bảo các cột của dataframe ratings có kiểu dữ liệu chính xác. Gọi phương thức cast() trên từng cột và chỉ định các cột userID và movieId ở kiểu "integer" và cột rating ở kiểu "double". (Chúng ta không cần cột timestamp, nên có thể bỏ qua.)
Gọi lại .printSchema() trên ratings để xác nhận các kiểu dữ liệu giờ đã đúng.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Use .printSchema() to see the datatypes of the ratings dataset
ratings.____()

# Tell Spark to convert the columns to the proper data types
ratings = ratings.select(ratings.userId.cast("____"), ratings.movieId.cast("____"), ratings.rating.cast("____"))

# Call .printSchema() again to confirm the columns are now in the correct format
ratings.____()

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Xây dựng Recommendation Engine với PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Chương này sẽ cho bạn thấy recommendation engine mạnh đến mức nào, và nêu rõ những khác biệt quan trọng giữa engine lọc cộng tác (collaborative filtering) và engine dựa trên nội dung (content-based), cũng như các loại dữ liệu ngầm định (implicit) và tường minh (explicit) mà recommendation engine có thể sử dụng. Bạn cũng sẽ học một cách tiếp cận rất mạnh để khám phá các đặc trưng ẩn (latent features) mà có thể bạn còn chưa biết là tồn tại trong các bộ dữ liệu khách hàng.

Exercise 1: Vì sao bạn nên học cách xây dựng hệ thống gợi ý?Exercise 2: Thấy sức mạnh của một hệ gợi ý Exercise 3: Sức mạnh của hệ thống gợi ý Exercise 4: Các loại hệ thống gợi ý và loại dữ liệu Exercise 5: Collaborative vs content-based filtering Exercise 6: Collaborative vs content-based filtering phần II Exercise 7: Dữ liệu ngầm định vs dữ liệu tường minh Exercise 8: Kiểu dữ liệu đánh giá Exercise 9: Các cách sử dụng hệ thống gợi ý Exercise 10: Những cách sử dụng khác của hệ thống gợi ý.Exercise 11: Xác nhận hiểu biết về các đặc trưng ẩn

Trong chương này, bạn sẽ ôn lại các khái niệm cơ bản về phép nhân ma trận và phân rã ma trận, đồng thời đi sâu vào cách thuật toán Alternating Least Squares vận hành và những tham số, siêu tham số mà nó sử dụng để trả về các gợi ý tốt nhất có thể. Bạn cũng sẽ học các kỹ thuật quan trọng để chuẩn bị dữ liệu đúng cách cho ALS trong Spark.

Exercise 1: Tổng quan về phép nhân ma trận Exercise 2: Nhân ma trận Exercise 3: Nhân ma trận - phần II Exercise 4: Tổng quan về phân rã ma trận Exercise 5: Phân rã ma trận Exercise 6: Phân rã ma trận không âm Exercise 7: ALS luân phiên như thế nào để tạo ra dự đoán Exercise 8: Ước lượng gợi ý Exercise 9: RMSE khi ALS luân phiên Exercise 10: Chuẩn bị dữ liệu cho Spark ALS Exercise 11: Định dạng đúng và danh sách người dùng duy nhất Exercise 12: Gán id số nguyên cho các bộ phim Exercise 13: Tham số và siêu tham số của ALS Exercise 14: Xây dựng mô hình ALS Exercise 15: Xây dựng bộ đánh giá RMSE Exercise 16: Lấy RMSE

Trong chương này, bạn sẽ được giới thiệu về bộ dữ liệu MovieLens. Bạn sẽ đi qua cách đánh giá mức độ phù hợp của nó cho ALS, xây dựng một mô hình ALS đầy đủ có cross-validation trên dữ liệu này, và học cách đánh giá hiệu năng của mô hình. Đây sẽ là nền tảng cho tất cả các mô hình ALS tiếp theo bạn xây dựng bằng Pyspark.

Exercise 1: Giới thiệu về bộ dữ liệu MovieLens Exercise 2: Xem dữ liệu MovieLens Exercise 3: Tính độ thưa (sparsity)Exercise 4: Phương thức GroupBy và Filter Exercise 5: Thống kê tóm tắt MovieLens Exercise 6: Xem Schema

Bài tập hiện tại

Exercise 7: Xây dựng mô hình ALS trên dữ liệu MovieLens Exercise 8: Tạo tập train/test và xây dựng mô hình ALS Exercise 9: Cho Spark biết cách tinh chỉnh mô hình ALS của bạn Exercise 10: Xây dựng pipeline cross validation Exercise 11: Mô hình tốt nhất và các tham số của mô hình Exercise 12: Đánh giá hiệu năng mô hình Exercise 13: Tạo dự đoán và tính RMSE Exercise 14: Diễn giải RMSE Exercise 15: Các gợi ý có hợp lý không

Trong hầu hết tình huống thực tế, bạn sẽ không có dữ liệu khách hàng "hoàn hảo" để xây dựng mô hình ALS. Chương này sẽ dạy bạn cách sử dụng dữ liệu hành vi của khách hàng để "suy luận" điểm đánh giá và dùng các điểm đánh giá suy luận đó để xây dựng một recommendation engine bằng ALS. Sử dụng Million Songs Dataset cũng như một phiên bản khác của MovieLens, chương này sẽ chỉ cho bạn cách dùng dữ liệu sẵn có để xây dựng recommendation engine với ALS và đánh giá hiệu năng của nó.

Exercise 1: Giới thiệu về Million Songs Dataset Exercise 2: Xác nhận hiểu biết về khái niệm đánh giá ngầm định Exercise 3: Thống kê tóm tắt MSD Exercise 4: Thống kê tóm tắt theo nhóm Exercise 5: Thêm số 0 Exercise 6: Đánh giá mô hình xếp hạng ngầm định Exercise 7: Chỉ định các siêu tham số cho ALS Exercise 8: Xây dựng mô hình implicit Exercise 9: Chạy mô hình implicit ALS với cross-validation Exercise 10: Trích xuất tham số Exercise 11: Tổng quan về xếp hạng nhị phân, ngầm định Exercise 12: Hiệu năng của mô hình nhị phân Exercise 13: Gợi ý từ dữ liệu nhị phân Exercise 14: Tổng kết khóa học