Tạo workflow nhiều bước: Model Engineering

Module MLflow Projects có thể được dùng để chạy một workflow nhiều bước. Tất cả các bước có thể được điều phối qua một chương trình Python duy nhất, chương trình này truyền kết quả từ bước trước sang bước tiếp theo.

Trong bài tập này, bạn sẽ bắt đầu tạo một workflow nhiều bước để quản lý các bước Model Engineering và Model Evaluation trong vòng đời ML. Bạn sẽ dùng phương thức run() từ module MLflow Projects cho entry point model_engineering và truyền các tham số dùng làm hyperparameter cho quá trình huấn luyện mô hình. Bạn cũng sẽ lấy đầu ra run_id và gán nó vào một biến để có thể truyền sang bước model_evaluation của workflow dưới dạng tham số.

MLproject được tạo ở bước trước có sẵn trong IPython Shell bằng print(MLproject). Module MLflow đã được import.

Bài tập này là một phần của khóa học

Giới thiệu về MLflow

Xem khóa học

Hướng dẫn bài tập

Gán phương thức run() từ module MLflow Projects vào một biến tên là model_engineering.
Đặt đối số entry point thành "model_engineering".
Thiết lập tham số để huấn luyện mô hình: "n_jobs" là 2 và "fit_intercept" là False.
Gán thuộc tính run_id của model_engineering vào một biến tên là model_engineering_run_id.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Set run method to model_engineering
____ = ____.____.____(
    uri='./',
    # Set entry point to model_engineering
    ____='____',
    experiment_name='Insurance',
    # Set the parameters for n_jobs and fit_intercept
    parameters={
        '____': ____, 
        '____': ____
    },
    env_manager='local'
)

# Set Run ID of model training to be passed to Model Evaluation step
____ = ____.____
print(model_engineering_run_id)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Giới thiệu về MLflow

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Trong chương này, bạn sẽ được giới thiệu về MLflow và cách MLflow hỗ trợ giải quyết một số khó khăn trong vòng đời Machine Learning. Bạn sẽ làm quen với bốn khái niệm chính tạo nên MLflow, với trọng tâm là MLflow Tracking. Bạn sẽ học cách tạo experiments và runs, cũng như cách theo dõi metrics, parameters và artifacts. Cuối cùng, bạn sẽ tìm kiếm MLflow bằng lập trình để tìm các lần chạy (experiment runs) phù hợp với tiêu chí nhất định.

Exercise 1: MLflow là gì?Exercise 2: Các thành phần của MLflow Exercise 3: Experiment trong MLflow Exercise 4: MLflow Tracking Exercise 5: Bắt đầu một run Exercise 6: Ghi log một run Exercise 7: Cách lấy dữ liệu của run đang hoạt động?Exercise 8: Truy vấn các lượt chạy Exercise 9: Tùy chọn truy vấn khi tìm kiếm runs Exercise 10: Tìm kiếm runs

Trong chương này, bạn sẽ được giới thiệu về MLflow Models. Thành phần MLflow Models đóng vai trò thiết yếu trong các bước Đánh giá Mô hình (Model Evaluation) và Kỹ thuật Mô hình (Model Engineering) của vòng đời Machine Learning. Bạn sẽ học cách MLflow Models tiêu chuẩn hóa việc đóng gói mô hình ML, cũng như cách lưu, ghi log và tải chúng. Bạn sẽ học cách tạo MLflow Models tùy chỉnh để linh hoạt hơn cho các trường hợp sử dụng, cũng như cách đánh giá hiệu suất mô hình. Bạn sẽ khai thác khái niệm mạnh mẽ “Flavors” và cuối cùng sử dụng công cụ dòng lệnh của MLflow để triển khai mô hình.

Exercise 1: Giới thiệu về MLflow Models Exercise 2: Đóng gói một mô hình Machine Learning Exercise 3: Định dạng lưu trữ Exercise 4: Có gì trong tệp MLmodel?Exercise 5: Model API Exercise 6: Lưu và tải mô hình Exercise 7: Ghi log và tải mô hình Exercise 8: Mô hình tùy chỉnh Exercise 9: Tạo một Python Class tùy chỉnh Exercise 10: Mô hình scikit-learn tùy chỉnh Exercise 11: Flavor scikit-learn và đánh giá Exercise 12: Triển khai/serving mô hình Exercise 13: Phục vụ (serve) một mô hình Exercise 14: Chấm điểm từ một mô hình đã serve

Chương này giới thiệu khái niệm trong MLflow gọi là Model Registry. Bạn sẽ được tìm hiểu cách Model Registry được dùng để quản lý vòng đời của các mô hình ML. Bạn sẽ học cách tạo và tìm kiếm mô hình trong Model Registry. Tiếp theo, bạn sẽ học cách đăng ký mô hình vào Model Registry và chuyển đổi mô hình giữa các giai đoạn được định nghĩa sẵn. Cuối cùng, bạn cũng sẽ học cách triển khai mô hình trực tiếp từ Model Registry.

Exercise 1: Giới thiệu về MLflow Model Registry Exercise 2: Tạo một Model Exercise 3: Tìm kiếm Models Exercise 4: Đăng ký mô hình Exercise 5: Đăng ký các mô hình hiện có Exercise 6: Đăng ký mô hình mới Exercise 7: Các giai đoạn của mô hình Exercise 8: Các giai đoạn của mô hình trong Model Registry Exercise 9: Chuyển đổi giai đoạn của mô hình Exercise 10: Triển khai mô hình Exercise 11: Phục vụ (serve) mô hình từ Model Registry Exercise 12: Tải mô hình từ Model Registry

Trong chương này, bạn sẽ nắm được cách tinh gọn mã khoa học dữ liệu để tái sử dụng và tái lập nhờ MLflow Projects. Chương mở đầu bằng việc giới thiệu khái niệm MLflow Projects và hướng dẫn bạn tạo tệp MLproject. Từ đó, bạn sẽ học cách chạy MLflow Projects qua cả dòng lệnh và mô-đun MLflow Projects, đồng thời khám phá sức mạnh của việc dùng tham số để tăng tính linh hoạt cho mã. Cuối cùng, bạn sẽ học cách quản lý các bước trong vòng đời Machine Learning bằng cách tạo một quy trình nhiều bước (workflow) với MLflow Projects.

Exercise 1: Giới thiệu về MLflow Projects Exercise 2: Bố cục tệp MLproject Exercise 3: Tạo một MLproject Exercise 4: Chạy MLflow Projects Exercise 5: Lệnh mlflow run Exercise 6: Mô-đun MLflow projects Exercise 7: Chỉ định tham số Exercise 8: Thêm tham số vào MLproject Exercise 9: Thêm tham số khi chạy project Exercise 10: Quy trình làm việc Exercise 11: Tạo một MLproject cho vòng đời ML: Model Engineering Exercise 12: Tạo MLproject cho vòng đời ML: Đánh giá mô hình Exercise 13: Tạo workflow nhiều bước: Model Engineering

Bài tập hiện tại

Exercise 14: Tạo workflow nhiều bước: Model Evaluation Exercise 15: Tổng kết