Các khái niệm về thực thi pipeline trong DVC

Các pipeline của DVC giúp chuẩn hóa quy trình Machine Learning, hỗ trợ versioning, theo dõi và caching dữ liệu lẫn mã hiệu quả. Hiểu cách pipeline được thực thi sẽ giúp bạn thiết kế quy trình làm việc hiệu quả. Trong bài tập này, bạn sẽ kiểm tra mức độ hiểu biết về cách DVC chạy các pipeline có thể tái lập.

Bài tập này là một phần của khóa học

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập

Bài tập này là một phần của khóa học

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

SkillTag.level.intermediateSkillTag.label

4.8+

408 reviews

Bắt đầu khóa học miễn phí

Chương này cung cấp phần giới thiệu toàn diện về Data Version Control (DVC), một công cụ thiết yếu để phiên bản hóa dữ liệu trong Machine Learning. Bạn sẽ khám phá động lực đằng sau việc phiên bản hóa dữ liệu, hiểu sự khác biệt giữa phiên bản hóa dữ liệu và mã, và thử nghiệm với một bài toán phân loại đơn giản. Bạn sẽ ôn lại các lệnh Git cơ bản, tìm hiểu về DVC và thực hành thiết lập một kho lưu trữ. Chương kết thúc với tổng quan về các tính năng và trường hợp sử dụng của DVC, bao gồm phiên bản hóa dữ liệu và mô hình, CI/CD cho Machine Learning, theo dõi thí nghiệm, pipelines và hơn thế nữa.

Exercise 1: Động lực cho Data Versioning Exercise 2: Cấu trúc của một mô hình Machine Learning Exercise 3: Khác biệt giữa quản lý phiên bản dữ liệu và mã nguồn Exercise 4: Hiểu về siêu tham số (Hyperparameters)Exercise 5: Giới thiệu về DVC Exercise 6: Làm việc với Git CLI Exercise 7: Ôn tập DVC CLI Exercise 8: Tính năng và trường hợp sử dụng của DVC Exercise 9: DVC pipelines Exercise 10: CI/CD cho machine learning

Chương này đi sâu vào thiết lập DVC, bao gồm cài đặt, khởi tạo kho lưu trữ và sử dụng tệp .dvcignore. Tiếp đó là khám phá cache và các tệp staging của DVC, giúp bạn biết cách thêm và xóa tệp, quản lý cache và hiểu cơ chế nền tảng dựa trên băm MD5. Chương cũng làm rõ về DVC remotes, phân biệt với Git remotes, và hướng dẫn cách thêm, liệt kê và chỉnh sửa chúng. Cuối cùng, bạn sẽ học cách tương tác với các remote này bằng cách đẩy (push) và kéo (pull) dữ liệu, checkout các phiên bản cụ thể, và fetch dữ liệu vào cache.

Exercise 1: Thiết lập và khởi tạo DVC Exercise 2: Thiết lập DVC Exercise 3: Mẫu .dvcignore Exercise 4: DVC Cache và tệp Staging Exercise 5: Làm việc với DVC Cache Exercise 6: Tìm hiểu tệp .dvc Exercise 7: Cấu hình DVC Remote Exercise 8: Mục đích của DVC Remotes Exercise 9: Thiết lập một DVC Remote Exercise 10: Tương tác với DVC Remote Exercise 11: Quản lý phiên bản dữ liệu bằng DVC Remote Exercise 12: Kiểm tra (checkout) dữ liệu theo phiên bản

Chương này tập trung vào tự động hóa các pipeline ML bằng DVC. Bạn sẽ tạo một tệp cấu hình chứa thiết lập và siêu tham số. Bạn cũng học cách trực quan hóa pipeline bằng đồ thị có hướng không chu trình và sử dụng các lệnh để mô tả phụ thuộc, lệnh thực thi và đầu ra. Phần chạy pipeline DVC được đề cập, bao gồm huấn luyện mô hình cục bộ và cách Git theo dõi siêu dữ liệu của DVC. Ngoài ra, bạn sẽ khám phá chức năng theo dõi metrics và plots trong DVC, bao gồm cách in metrics, tạo tệp plot, và so sánh metrics cùng plots giữa các giai đoạn của pipeline.

Exercise 1: Tổ chức mã và tái cấu trúc Exercise 2: Tìm hiểu tệp tham số trong DVC Exercise 3: Viết một tệp tham số Exercise 4: Viết và trực quan hóa các pipeline DVC Exercise 5: Thiết kế một pipeline DVC Exercise 6: Trực quan hóa một pipeline DVC Exercise 7: Thực thi các pipeline DVC Exercise 8: Các khái niệm về thực thi pipeline trong DVC

Bài tập hiện tại

Exercise 9: Thực thi một pipeline huấn luyện mô hình ML Exercise 10: Đánh giá: Metrics và biểu đồ trong DVC Exercise 11: Theo dõi DVC Metrics Exercise 12: Thêm biểu đồ vào dvc.yaml Exercise 13: Chúc mừng bạn!