Chương đầu sẽ giải thích vì sao doanh nghiệp cần giám sát mô hình machine learning của bạn trong production. Bạn sẽ tìm hiểu quy trình giám sát lý tưởng và các bước liên quan, cùng với một số thách thức mà hệ thống giám sát có thể gặp phải khi vận hành trong production.

Vì sao bạn cần giám sát mô hình của mình

Vì sao mô hình thất bại?

Lợi ích của các hệ thống giám sát

Quy trình giám sát lý tưởng

Tầm quan trọng của việc theo dõi KPI

Quy trình giám sát trong tình huống thực tế

Những thách thức khi giám sát mô hình ML

Ground truth bị trễ

Covariate shift vs concept drift

ML Monitoring là gì

Trong Chương 2, bạn sẽ khám phá tầm quan trọng nền tảng của việc giám sát hiệu năng trong một hệ thống giám sát đáng tin cậy. Chúng ta sẽ tìm hiểu các thách thức thường gặp trong môi trường production thực tế, như tính sẵn có của ground truth. Kết thúc chương, bạn sẽ biết cách xử lý khi dữ liệu ground truth bị trễ hoặc không có, bằng cách sử dụng các thuật toán ước lượng hiệu năng.

Giám sát trực tiếp hiệu năng kỹ thuật

Vì sao ưu tiên hiệu năng trước?

Các kiểu dịch chuyển đồng biến khác nhau

Tính sẵn có của ground truth

Có cần ước tính hiệu suất không?

Tùy chọn

Đúng

Giám sát hiệu năng trong môi trường sản xuất

Ước lượng hiệu suất

Các cân nhắc về CBPE

Ước lượng hiệu năng trong môi trường sản xuất

CBPE

Thuật toán ước lượng hiệu suất

Các khái niệm lý thuyết về giám sát

Giờ bạn đã nắm cơ bản về covariate shift và concept drift trong production, hãy đi sâu thêm một chút. Kết thúc chương này, bạn sẽ biết những cách khác nhau để phát hiện và xử lý chúng trong các tình huống thực tế.

Covariate shift là gì?

Hoán đổi đặc trưng

Phương pháp phát hiện drift

Cách phát hiện covariate shift

Những thay đổi tinh vi

Các phương pháp khác nhau

Concept drift là gì?

Các loại concept drift

Tương tác giữa concept drift và covariate shift

Xử lý concept drift như thế nào?

Thích ứng theo thời gian thực

Phát hiện và xử lý concept drift

Tổng kết

Phát hiện Covariate Shift và Concept Drift

Để đảm bảo mô hình machine learning thành công lâu dài, bạn cần hiểu cách giám sát chúng hiệu quả trong môi trường production. Khi machine learning ngày càng được doanh nghiệp ứng dụng rộng rãi, khoa học dữ liệu sau triển khai đang nổi lên như một lĩnh vực quan trọng. Khóa học này bao quát mọi khái niệm cốt lõi liên quan đến việc giám sát hệ thống machine learning trong production, nhằm duy trì giá trị kinh doanh, giảm rủi ro thất bại và tăng khả năng quan sát.

<h2> Các khái niệm về giám sát học máy</h2>
Các mô hình học máy ngày càng có ảnh hưởng đến nhiều quyết định trong thế giới thực. Các mô hình này cần được giám sát để ngăn chặn sự cố và đảm bảo rằng chúng mang lại giá trị kinh doanh cho công ty của quý vị. Khóa học này sẽ giới thiệu cho quý vị các khái niệm cơ bản về việc xây dựng một hệ thống giám sát mạnh mẽ cho các mô hình của quý vị trong môi trường sản xuất.
<br><br>
<h2>Khám phá quy trình giám sát lý tưởng</h2>
Khóa học bắt đầu với bản thiết kế về nơi bắt đầu giám sát trong sản xuất và cách cấu trúc các quy trình xung quanh nó. Chúng tôi sẽ trình bày quy trình làm việc cơ bản bằng cách hướng dẫn quý vị cách phát hiện các vấn đề, xác định nguyên nhân gốc rễ và giải quyết chúng thông qua các ví dụ thực tế.
<br><br>
<h2>Khám phá những thách thức trong việc giám sát các mô hình trong sản xuất</h2>
Việc triển khai mô hình trong sản xuất chỉ là bước đầu tiên trong vòng đời của mô hình. Ngay cả khi nó hoạt động tốt trong quá trình phát triển, nó vẫn có thể gặp sự cố do dữ liệu sản xuất liên tục thay đổi. Trong khóa học này, quý vị sẽ tìm hiểu về những thách thức trong việc theo dõi hiệu suất của mô hình, đặc biệt là khi không có dữ liệu tham chiếu chính xác.
<br><br>
<h2> Hiểu chi tiết về sự thay đổi biến số và sự thay đổi khái niệm</h2>
Phần cuối cùng của khóa học này sẽ tập trung vào hai loại sự cố của mô hình im lặng. Quý vị sẽ hiểu rõ về các loại thay đổi biến giải thích và sự thay đổi khái niệm, ảnh hưởng của chúng đối với hiệu suất mô hình, cũng như cách phát hiện và ngăn chặn chúng.

MLOps Concepts

Supervised Learning with scikit-learn

Tìm hiểu thách thức giám sát mô hình máy học, gồm trôi dữ liệu, khái niệm và cách khắc phục suy giảm.

Các khái niệm Giám sát Machine Learning

Tìm hiểu các thách thức khi giám sát mô hình học máy trong sản xuất, như trôi dữ liệu, trôi khái niệm và cách khắc phục suy giảm mô hình.

Kỹ sư Học máy

Học máy trong sản xuất trong Python

Cần hiệu chỉnh xác suất (probability calibration)

Ước lượng ma trận nhầm lẫn (confusion matrix)

Ước lượng các chỉ số như MSE, RMSE, MAE

Thuật toán ước lượng hiệu suất

Các khái niệm Giám sát Machine Learning

Bài tập tương tác thực hành