Tạo MLproject cho vòng đời ML: Đánh giá mô hình

Trong bài tập này, bạn sẽ tiếp tục tạo file MLproject để quản lý các bước trong vòng đời ML. Bạn sẽ tạo thêm một entry point tên là model_evaluation. Bước này trong quy trình sẽ nhận đầu ra run_id từ bước model_engineering và chạy đánh giá mô hình bằng dữ liệu huấn luyện từ bộ dữ liệu Insurance của chúng ta.

Bạn có thể in file MLproject hiện tại bằng IPython Shell và chạy print(MLproject).

Bài tập này là một phần của khóa học

Giới thiệu về MLflow

Xem khóa học

Hướng dẫn bài tập

Tạo một entry point tên model_evaluation.
Thiết lập tham số cho run_id.
Đặt tham số vào trong lệnh command.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

"""
  # Set the model_evaluation entry point
  ____:
    parameters:
      # Set run_id parameter
      ____:
        type: str 
        default: None
    # Set the parameters in the command
    command: "python3.9 evaluate.py {____}"
"""

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Giới thiệu về MLflow

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Trong chương này, bạn sẽ được giới thiệu về MLflow và cách MLflow hỗ trợ giải quyết một số khó khăn trong vòng đời Machine Learning. Bạn sẽ làm quen với bốn khái niệm chính tạo nên MLflow, với trọng tâm là MLflow Tracking. Bạn sẽ học cách tạo experiments và runs, cũng như cách theo dõi metrics, parameters và artifacts. Cuối cùng, bạn sẽ tìm kiếm MLflow bằng lập trình để tìm các lần chạy (experiment runs) phù hợp với tiêu chí nhất định.

Exercise 1: MLflow là gì?Exercise 2: Các thành phần của MLflow Exercise 3: Experiment trong MLflow Exercise 4: MLflow Tracking Exercise 5: Bắt đầu một run Exercise 6: Ghi log một run Exercise 7: Cách lấy dữ liệu của run đang hoạt động?Exercise 8: Truy vấn các lượt chạy Exercise 9: Tùy chọn truy vấn khi tìm kiếm runs Exercise 10: Tìm kiếm runs

Trong chương này, bạn sẽ được giới thiệu về MLflow Models. Thành phần MLflow Models đóng vai trò thiết yếu trong các bước Đánh giá Mô hình (Model Evaluation) và Kỹ thuật Mô hình (Model Engineering) của vòng đời Machine Learning. Bạn sẽ học cách MLflow Models tiêu chuẩn hóa việc đóng gói mô hình ML, cũng như cách lưu, ghi log và tải chúng. Bạn sẽ học cách tạo MLflow Models tùy chỉnh để linh hoạt hơn cho các trường hợp sử dụng, cũng như cách đánh giá hiệu suất mô hình. Bạn sẽ khai thác khái niệm mạnh mẽ “Flavors” và cuối cùng sử dụng công cụ dòng lệnh của MLflow để triển khai mô hình.

Exercise 1: Giới thiệu về MLflow Models Exercise 2: Đóng gói một mô hình Machine Learning Exercise 3: Định dạng lưu trữ Exercise 4: Có gì trong tệp MLmodel?Exercise 5: Model API Exercise 6: Lưu và tải mô hình Exercise 7: Ghi log và tải mô hình Exercise 8: Mô hình tùy chỉnh Exercise 9: Tạo một Python Class tùy chỉnh Exercise 10: Mô hình scikit-learn tùy chỉnh Exercise 11: Flavor scikit-learn và đánh giá Exercise 12: Triển khai/serving mô hình Exercise 13: Phục vụ (serve) một mô hình Exercise 14: Chấm điểm từ một mô hình đã serve

Chương này giới thiệu khái niệm trong MLflow gọi là Model Registry. Bạn sẽ được tìm hiểu cách Model Registry được dùng để quản lý vòng đời của các mô hình ML. Bạn sẽ học cách tạo và tìm kiếm mô hình trong Model Registry. Tiếp theo, bạn sẽ học cách đăng ký mô hình vào Model Registry và chuyển đổi mô hình giữa các giai đoạn được định nghĩa sẵn. Cuối cùng, bạn cũng sẽ học cách triển khai mô hình trực tiếp từ Model Registry.

Exercise 1: Giới thiệu về MLflow Model Registry Exercise 2: Tạo một Model Exercise 3: Tìm kiếm Models Exercise 4: Đăng ký mô hình Exercise 5: Đăng ký các mô hình hiện có Exercise 6: Đăng ký mô hình mới Exercise 7: Các giai đoạn của mô hình Exercise 8: Các giai đoạn của mô hình trong Model Registry Exercise 9: Chuyển đổi giai đoạn của mô hình Exercise 10: Triển khai mô hình Exercise 11: Phục vụ (serve) mô hình từ Model Registry Exercise 12: Tải mô hình từ Model Registry

Trong chương này, bạn sẽ nắm được cách tinh gọn mã khoa học dữ liệu để tái sử dụng và tái lập nhờ MLflow Projects. Chương mở đầu bằng việc giới thiệu khái niệm MLflow Projects và hướng dẫn bạn tạo tệp MLproject. Từ đó, bạn sẽ học cách chạy MLflow Projects qua cả dòng lệnh và mô-đun MLflow Projects, đồng thời khám phá sức mạnh của việc dùng tham số để tăng tính linh hoạt cho mã. Cuối cùng, bạn sẽ học cách quản lý các bước trong vòng đời Machine Learning bằng cách tạo một quy trình nhiều bước (workflow) với MLflow Projects.

Exercise 1: Giới thiệu về MLflow Projects Exercise 2: Bố cục tệp MLproject Exercise 3: Tạo một MLproject Exercise 4: Chạy MLflow Projects Exercise 5: Lệnh mlflow run Exercise 6: Mô-đun MLflow projects Exercise 7: Chỉ định tham số Exercise 8: Thêm tham số vào MLproject Exercise 9: Thêm tham số khi chạy project Exercise 10: Quy trình làm việc Exercise 11: Tạo một MLproject cho vòng đời ML: Model Engineering Exercise 12: Tạo MLproject cho vòng đời ML: Đánh giá mô hình

Bài tập hiện tại

Exercise 13: Tạo workflow nhiều bước: Model Engineering Exercise 14: Tạo workflow nhiều bước: Model Evaluation Exercise 15: Tổng kết