Học dựa trên khoảng cách

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Bài tập này là một phần của khóa học

Thiết kế quy trình Machine Learning bằng Python

SkillTag.level.advancedSkillTag.label

4.8+

Trong chương này, bạn sẽ được nhắc lại những kiến thức căn bản về quy trình học có giám sát, bao gồm huấn luyện, tinh chỉnh và chọn mô hình, kỹ thuật tạo và chọn đặc trưng, cùng các phương pháp chia tách dữ liệu. Bạn sẽ hiểu cách các bước trong quy trình phụ thuộc lẫn nhau, và nhận ra cách chúng có thể cùng góp phần hạn chế hoặc vô tình làm trầm trọng hiện tượng overfitting: kẻ thù lớn nhất của nhà khoa học dữ liệu. Kết thúc chương, bạn sẽ tự tin với học có giám sát và sẵn sàng tiến vào các nội dung nâng cao ở những chương tiếp theo.

Exercise 1: Pipeline cho supervised learning Exercise 2: Kỹ thuật đặc trưng (Feature engineering)Exercise 3: Pipeline đầu tiên của bạn Exercise 4: Độ phức tạp của mô hình và overfitting Exercise 5: Tìm kiếm lưới (Grid search) k-fold CV cho độ phức tạp mô hình Exercise 6: Số lượng cây và số lượng estimators Exercise 7: Kỹ thuật đặc trưng và overfitting Exercise 8: Mã hóa biến phân loại Exercise 9: Biến đổi đặc trưng Exercise 10: Gộp mọi thứ lại với nhau

Ở chương trước, bạn đã củng cố kiến thức về quy trình học có giám sát tiêu chuẩn. Trong chương này, bạn sẽ phân tích một cách phản biện các cách tích hợp tri thức chuyên gia vào học có giám sát. Việc này được thực hiện thông qua xác định đơn vị phân tích phù hợp—có thể đòi hỏi kỹ thuật tạo đặc trưng từ nhiều nguồn dữ liệu, thông qua quy trình gán nhãn đôi khi chưa hoàn hảo, và thông qua việc xác định hàm mất mát phản ánh đúng giá trị kinh doanh của các lỗi mà mô hình machine learning tạo ra.

Exercise 1: Hợp nhất dữ liệu Exercise 2: Nguồn hay đích mới là máy bị nhiễm?Exercise 3: Kỹ thuật đặc trưng trên dữ liệu đã nhóm Exercise 4: Nhãn không hoàn hảo Exercise 5: Biến heuristic thành bộ phân loại Exercise 6: Kết hợp các heuristic Exercise 7: Xử lý nhiễu trong nhãn Exercise 8: Hàm mất mát Phần I Exercise 9: Ôn lại các thước đo hiệu năng Exercise 10: Phân tích chi phí thực tế Exercise 11: Tính toán ma trận nhầm lẫn Exercise 12: Hàm mất mát Phần II Exercise 13: Ngưỡng mặc định Exercise 14: Tối ưu ngưỡng phân loại Exercise 15: Kết nối mọi thứ lại với nhau

Ở chương trước, bạn đã áp dụng nhiều cách tích hợp phản hồi từ chuyên gia vào quy trình và đánh giá theo hướng phù hợp với giá trị kinh doanh. Giờ là lúc bạn luyện tập các kỹ năng cần thiết để đưa mô hình vào sản phẩm và đảm bảo nó tiếp tục hoạt động tốt về sau bằng cách cải tiến lặp. Bạn cũng sẽ học cách chẩn đoán dataset shift và giảm thiểu tác động của môi trường thay đổi lên độ chính xác của mô hình.

Exercise 1: Từ quy trình làm việc đến pipeline Exercise 2: Pipeline đầu tiên của bạn - lần nữa!Exercise 3: Trình chấm điểm tùy chỉnh trong pipelines Exercise 4: Triển khai mô hình Exercise 5: Pickle Exercise 6: Bộ biến đổi hàm tùy chỉnh trong pipelines Exercise 7: Lặp lại mà không overfitting Exercise 8: Thách đấu nhà vô địch Exercise 9: Thống kê cross-validation Exercise 10: Dịch chuyển dữ liệu Exercise 11: Điều chỉnh kích thước cửa sổ Exercise 12: Gom tất cả lại với nhau

Ở các chương trước, bạn đã xây nền tảng vững chắc về học có giám sát, bao gồm cả kiến thức triển khai mô hình vào sản xuất, nhưng luôn giả định rằng bạn có sẵn một bộ dữ liệu đã được gán nhãn để phân tích. Trong chương này, bạn sẽ thử thách bản thân với việc mô hình hóa dữ liệu không có hoặc có rất ít nhãn. Điều này dẫn bạn đến hành trình với phát hiện bất thường—một dạng mô hình hóa không giám sát—cũng như học dựa trên khoảng cách, nơi các quan niệm về sự tương đồng giữa hai ví dụ có thể thay thế nhãn để giúp bạn đạt độ chính xác tiệm cận một quy trình có giám sát. Hoàn thành chương này, bạn sẽ thực sự nổi bật khi tự tin biết chọn công cụ nào để điều chỉnh quy trình, vượt qua những thách thức thường gặp ngoài đời thực.

Exercise 1: Phát hiện bất thường Exercise 2: Một ngoại lệ đơn giản Exercise 3: Độ nhiễm (contamination) của LoF Exercise 4: Phát hiện mới lạ Exercise 5: Một ví dụ novelty đơn giản Exercise 6: Ba bộ phát hiện điểm mới Exercise 7: Xem lại contamination Exercise 8: Học dựa trên khoảng cách

Bài tập hiện tại

Exercise 9: Tìm điểm láng giềng Exercise 10: Không phải mọi metric đều đồng thuận Exercise 11: Dữ liệu phi cấu trúc Exercise 12: Levenshtein bị giới hạn Exercise 13: Tổng hợp mọi thứ Exercise 14: Lời kết