Flavor scikit-learn và đánh giá

Trong bài tập này, bạn sẽ huấn luyện một mô hình phân loại và đánh giá hiệu năng của nó. Mô hình sử dụng tập dữ liệu Insurance Charges của bạn để phân loại chi phí thuộc về nữ hay nam.

Chúng ta sẽ bắt đầu bằng cách log mô hình lên MLflow Tracking bằng flavor scikit-learn và kết thúc bằng việc đánh giá mô hình của bạn sử dụng tập dữ liệu eval_data.

Tập dữ liệu đánh giá của bạn đã được tạo là eval_data và mô hình được huấn luyện có tên lr_class. eval_data bao gồm X_test và y_test vì dữ liệu huấn luyện đã được tách bằng hàm train_test_split() từ sklearn.

# Model
lr_class = LogisticRegression()
lr_class.fit(X_train, y_train)

Module mlflow đã được import.

Bài tập này là một phần của khóa học

Giới thiệu về MLflow

Xem khóa học

Hướng dẫn bài tập

Log mô hình lr_class bằng flavor "built-in" của scikit-learn.
Gọi hàm evaluate() từ module mlflow.
Đánh giá tập dữ liệu eval_data và đặt target là cột "sex".

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Eval Data
eval_data = X_test
eval_data["sex"] = y_test
# Log the lr_class model using Scikit-Learn Flavor
___.___.___(____, "model")

# Get run id
run = mlflow.last_active_run()
run_id = run.info.run_id

# Evaluate the logged model with eval_data data
___.___(f"runs:/{run_id}/model", 
        ____=____, 
        ____="____",
        model_type="classifier"
)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Giới thiệu về MLflow

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Trong chương này, bạn sẽ được giới thiệu về MLflow và cách MLflow hỗ trợ giải quyết một số khó khăn trong vòng đời Machine Learning. Bạn sẽ làm quen với bốn khái niệm chính tạo nên MLflow, với trọng tâm là MLflow Tracking. Bạn sẽ học cách tạo experiments và runs, cũng như cách theo dõi metrics, parameters và artifacts. Cuối cùng, bạn sẽ tìm kiếm MLflow bằng lập trình để tìm các lần chạy (experiment runs) phù hợp với tiêu chí nhất định.

Exercise 1: MLflow là gì?Exercise 2: Các thành phần của MLflow Exercise 3: Experiment trong MLflow Exercise 4: MLflow Tracking Exercise 5: Bắt đầu một run Exercise 6: Ghi log một run Exercise 7: Cách lấy dữ liệu của run đang hoạt động?Exercise 8: Truy vấn các lượt chạy Exercise 9: Tùy chọn truy vấn khi tìm kiếm runs Exercise 10: Tìm kiếm runs

Trong chương này, bạn sẽ được giới thiệu về MLflow Models. Thành phần MLflow Models đóng vai trò thiết yếu trong các bước Đánh giá Mô hình (Model Evaluation) và Kỹ thuật Mô hình (Model Engineering) của vòng đời Machine Learning. Bạn sẽ học cách MLflow Models tiêu chuẩn hóa việc đóng gói mô hình ML, cũng như cách lưu, ghi log và tải chúng. Bạn sẽ học cách tạo MLflow Models tùy chỉnh để linh hoạt hơn cho các trường hợp sử dụng, cũng như cách đánh giá hiệu suất mô hình. Bạn sẽ khai thác khái niệm mạnh mẽ “Flavors” và cuối cùng sử dụng công cụ dòng lệnh của MLflow để triển khai mô hình.

Exercise 1: Giới thiệu về MLflow Models Exercise 2: Đóng gói một mô hình Machine Learning Exercise 3: Định dạng lưu trữ Exercise 4: Có gì trong tệp MLmodel?Exercise 5: Model API Exercise 6: Lưu và tải mô hình Exercise 7: Ghi log và tải mô hình Exercise 8: Mô hình tùy chỉnh Exercise 9: Tạo một Python Class tùy chỉnh Exercise 10: Mô hình scikit-learn tùy chỉnh Exercise 11: Flavor scikit-learn và đánh giá

Bài tập hiện tại

Exercise 12: Triển khai/serving mô hình Exercise 13: Phục vụ (serve) một mô hình Exercise 14: Chấm điểm từ một mô hình đã serve

Chương này giới thiệu khái niệm trong MLflow gọi là Model Registry. Bạn sẽ được tìm hiểu cách Model Registry được dùng để quản lý vòng đời của các mô hình ML. Bạn sẽ học cách tạo và tìm kiếm mô hình trong Model Registry. Tiếp theo, bạn sẽ học cách đăng ký mô hình vào Model Registry và chuyển đổi mô hình giữa các giai đoạn được định nghĩa sẵn. Cuối cùng, bạn cũng sẽ học cách triển khai mô hình trực tiếp từ Model Registry.

Exercise 1: Giới thiệu về MLflow Model Registry Exercise 2: Tạo một Model Exercise 3: Tìm kiếm Models Exercise 4: Đăng ký mô hình Exercise 5: Đăng ký các mô hình hiện có Exercise 6: Đăng ký mô hình mới Exercise 7: Các giai đoạn của mô hình Exercise 8: Các giai đoạn của mô hình trong Model Registry Exercise 9: Chuyển đổi giai đoạn của mô hình Exercise 10: Triển khai mô hình Exercise 11: Phục vụ (serve) mô hình từ Model Registry Exercise 12: Tải mô hình từ Model Registry

Trong chương này, bạn sẽ nắm được cách tinh gọn mã khoa học dữ liệu để tái sử dụng và tái lập nhờ MLflow Projects. Chương mở đầu bằng việc giới thiệu khái niệm MLflow Projects và hướng dẫn bạn tạo tệp MLproject. Từ đó, bạn sẽ học cách chạy MLflow Projects qua cả dòng lệnh và mô-đun MLflow Projects, đồng thời khám phá sức mạnh của việc dùng tham số để tăng tính linh hoạt cho mã. Cuối cùng, bạn sẽ học cách quản lý các bước trong vòng đời Machine Learning bằng cách tạo một quy trình nhiều bước (workflow) với MLflow Projects.

Exercise 1: Giới thiệu về MLflow Projects Exercise 2: Bố cục tệp MLproject Exercise 3: Tạo một MLproject Exercise 4: Chạy MLflow Projects Exercise 5: Lệnh mlflow run Exercise 6: Mô-đun MLflow projects Exercise 7: Chỉ định tham số Exercise 8: Thêm tham số vào MLproject Exercise 9: Thêm tham số khi chạy project Exercise 10: Quy trình làm việc Exercise 11: Tạo một MLproject cho vòng đời ML: Model Engineering Exercise 12: Tạo MLproject cho vòng đời ML: Đánh giá mô hình Exercise 13: Tạo workflow nhiều bước: Model Engineering Exercise 14: Tạo workflow nhiều bước: Model Evaluation Exercise 15: Tổng kết