Biến đổi trên train và test (II)
Tương tự như việc áp dụng cùng một scaler cho cả tập train và test, nếu bạn đã loại bỏ các điểm ngoại lai khỏi tập train, bạn cũng sẽ muốn làm điều tương tự với tập test. Một lần nữa, bạn cần đảm bảo chỉ dùng các ngưỡng được tính từ tập train để loại bỏ ngoại lai trên tập test.
Tương tự bài trước, chúng ta đã tách DataFrame so_numeric_df thành tập train (so_train_numeric) và tập test (so_test_numeric).
Bài tập này là một phần của khóa học
Feature Engineering cho Machine Learning bằng Python
Hướng dẫn bài tập
- Tính độ lệch chuẩn và giá trị trung bình của cột
ConvertedSalary. - Tính các ngưỡng trên và dưới là ba độ lệch chuẩn lệch khỏi trung bình theo cả hai phía.
- Cắt gọn DataFrame
so_test_numericđể chỉ giữ lại những hàng cóConvertedSalarynằm trong khoảng giữa hai ngưỡng trên và dưới.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
train_std = so_train_numeric['ConvertedSalary'].____
train_mean = so_train_numeric['ConvertedSalary'].____
cut_off = train_std * 3
train_lower, train_upper = ____, train_mean + cut_off
# Trim the test DataFrame
trimmed_df = so_test_numeric[(so_test_numeric['ConvertedSalary'] < ____) \
& (so_test_numeric['ConvertedSalary'] > ____)]