Kiểm thử mô hình Machine Learning của bạn

Xuyên suốt quá trình phát triển ứng dụng và mô hình ML, bạn sẽ tạo ra một bộ kiểm thử đơn vị, kiểm thử tích hợp, kiểm thử tải, kiểm thử chịu đựng và kiểm thử triển khai.

Đừng ngại nếu bạn chưa biết hết các loại kiểm thử này; có rất nhiều tài liệu tuyệt vời để học.

Nhưng tối thiểu, bạn nên nhớ lý do cốt lõi để viết chúng, đó là:

Bài tập này là một phần của khóa học

Triển khai và Vòng đời MLOps

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập

Bài tập này là một phần của khóa học

Triển khai và Vòng đời MLOps

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Chương này cung cấp góc nhìn tổng quan về các nguyên tắc MLOps và các thành phần khung quan trọng cho triển khai và vòng đời.

Exercise 1: Khung MLOps hiện đại Exercise 2: Quy trình ML Exercise 3: Lợi ích của MLOps Exercise 4: Các giai đoạn vòng đời Exercise 5: Ứng dụng vs. mô hình Exercise 6: Ngừng vận hành (Decommissioning)Exercise 7: Vòng đời của mô hình: ôn tập Exercise 8: Các thành phần của MLOps Exercise 9: Chuỗi tự động hóa Exercise 10: Stores và registries Exercise 11: DevOps hay MLOps?

Chương này dành cho những cân nhắc chúng ta cần thực hiện ngay từ giai đoạn phát triển, để đảm bảo mọi thứ trôi chảy khi bước vào vận hành. Mục tiêu cuối cùng là giải thích cách huấn luyện mô hình theo các thực hành tốt nhất của MLOps và xây dựng một gói mô hình cho phép triển khai mượt mà, tái lập và giám sát sau triển khai.

Exercise 1: Phát triển định hướng triển khai Exercise 2: Kiểm thử mô hình Machine Learning của bạn

Bài tập hiện tại

Exercise 3: Thời điểm tốt nhất để bắt đầu triển khai Exercise 4: Profiling, quản lý phiên bản và kho đặc trưng Exercise 5: Thuộc tính của feature store Exercise 6: Lợi ích của profiling và feature store Exercise 7: Đảm bảo khả năng tái lập Exercise 8: Pipeline xây dựng mô hình trong CI/CD Exercise 9: Các pipeline khác nhau Exercise 10: Các thuộc tính của model build pipeline Exercise 11: Tích hợp CI/CD Exercise 12: Đóng gói mô hình Exercise 13: Định dạng mô hình Exercise 14: Gói đầy đủ

Chương này giải quyết các câu hỏi quan trọng trong vận hành mô hình như: - Có những cách nào để phục vụ mô hình? - API là gì, và các chức năng chính của nó là gì? - Làm sao kiểm thử dịch vụ thật kỹ trước khi cung cấp cho người dùng cuối? - Làm sao cập nhật mô hình trong sản xuất mà không làm gián đoạn dịch vụ? Bạn sẽ học về dự đoán theo lô (batch), dự đoán thời gian thực, kiểm tra hợp lệ dữ liệu đầu vào/đầu ra, unit test, integration test, triển khai canary, và nhiều nội dung khác.

Exercise 1: Chế độ phục vụ Exercise 2: Ngoại tuyến hay trực tuyến?Exercise 3: Khi thời gian quan trọng - ở mức vừa phải Exercise 4: Xây dựng API Exercise 5: Khách hàng - máy chủ Exercise 6: Chức năng của API Exercise 7: Quy trình triển khai và kiểm thử Exercise 8: Đó là loại kiểm thử nào?Exercise 9: Tiến trình qua các môi trường Exercise 10: Kiểm thử theo môi trường Exercise 11: Chiến lược triển khai mô hình Exercise 12: Chiến lược triển khai phù hợp Exercise 13: Thứ tự rủi ro Exercise 14: Cái bóng của chiếc bóng

Chương cuối cùng này tập trung vào việc giám sát và duy trì các dịch vụ ML sau khi triển khai, cũng như quản trị mô hình. Bạn sẽ tìm hiểu các khái niệm then chốt như độ trễ xác minh (verification latency), dịch chuyển hiệp biến (covariate shift), trôi khái niệm (concept drift), hệ thống có con người trong vòng lặp (human-in-the-loop), và hơn thế nữa.

Exercise 1: Giám sát dịch vụ ML Exercise 2: Shift vs drift Exercise 3: Độ trễ (Latency)Exercise 4: Sớm vậy sao?Exercise 5: Giám sát và cảnh báo Exercise 6: Hệ thống giám sát Exercise 7: Cảnh báo Exercise 8: Bảo trì mô hình Exercise 9: Lấy dữ liệu làm trung tâm vs lấy mô hình làm trung tâm Exercise 10: Human-in-the-Loop Exercise 11: Quản trị mô hình Exercise 12: Các thành tố của quản trị Exercise 13: Các giai đoạn của quản trị Exercise 14: Phân loại rủi ro Exercise 15: Tổng kết