Random Forest Regression đủ mạnh để cho phép bạn bỏ qua nhiều bước chuẩn bị dữ liệu tốn thời gian và nhàm chán. Mặc dù một số triển khai Random Forest xử lý tự động giá trị thiếu và giá trị phân loại, PySpark thì không. Tuy vậy phần toán học vẫn như nhau, nên chúng ta có thể thay thế giá trị theo cách đơn giản.

Với giá trị thiếu, vì dữ liệu của chúng ta hoàn toàn dương, ta sẽ gán -1. Random forest sẽ tách (split) trên giá trị này và xử lý nó khác với các giá trị còn lại trong cùng một đặc trưng.

Với giá trị phân loại, bạn có thể ánh xạ (map) các giá trị văn bản sang số và một lần nữa random forest sẽ xử lý phù hợp bằng cách tách theo các giá trị đó. Trong ví dụ này, chúng ta sẽ “phủi bụi” pipelines từ phần Introduction to PySpark để viết mã ngắn gọn hơn. Lưu ý: bài tập sẽ bắt đầu bằng cách hiển thị dtypes của các cột trong dataframe; hãy so sánh chúng với kết quả ở cuối bài tập này.

LƯU Ý: Pipeline và StringIndexer đã được nhập sẵn cho bạn. Danh sách categorical_cols cũng đã có sẵn.

Các giả định về Feature Engineering cho RFR

Create Your Free Account