Khám phá các lựa chọn để fine-tune các mô hình Llama 3 và tìm hiểu TorchTune — thư viện được xây dựng để đơn giản hóa việc fine-tune. Chương này hướng dẫn bạn chuẩn bị dữ liệu, hệ thống công thức (recipe) của TorchTune, và cấu hình tác vụ hiệu quả, cung cấp các bước chính để khởi chạy tác vụ fine-tuning đầu tiên.

Các thư viện fine-tuning cho Llama

Liệt kê các recipe của TorchTune

Chạy một tác vụ TorchTune

Tiền xử lý dữ liệu để fine-tune

Lọc tập dữ liệu để đánh giá

Tạo mẫu huấn luyện

Lưu các dataset đã tiền xử lý

Fine-tuning với TorchTune

Định nghĩa recipe tùy chỉnh

Lưu recipe tùy chỉnh

Chạy fine-tuning tùy chỉnh

Chuẩn bị cho việc fine-tune Llama

Tìm hiểu cách fine-tuning có thể cải thiện đáng kể hiệu năng của các mô hình nhỏ cho các nhiệm vụ cụ thể. Bắt đầu bằng cách fine-tune các mô hình Llama nhỏ hơn để tăng khả năng xử lý theo tác vụ. Tiếp theo, khám phá các kỹ thuật fine-tuning hiệu quả tham số như LoRA, và tìm hiểu lượng tử hóa để tải và sử dụng các mô hình còn lớn hơn.

Fine-tuning mô hình với Hugging Face

Thiết lập tham số huấn luyện cho Llama

Fine-tuning Llama cho bài toán Hỏi-đáp hỗ trợ khách hàng

Đánh giá văn bản sinh ra bằng ROUGE

Tinh chỉnh hiệu quả với LoRA

Sử dụng adapter LoRA

Fine-tuning LoRA cho Llama phục vụ chăm sóc khách hàng

Thu nhỏ mô hình bằng lượng hóa

Tải mô hình 8-bit

Tăng tốc suy luận trên các mô hình đã lượng tử hóa

Chúc mừng bạn!

Fine-tuning với SFTTrainer trên Hugging Face

Fine-tune LLM mã nguồn mở Llama để tối ưu hiệu năng cho các ứng dụng chuyên biệt. Học cách dùng hệ thống công thức (recipe) của TorchTune và SFTTrainer của Hugging Face để chạy vòng lặp fine-tuning, chuẩn bị mô hình với bộ dữ liệu tùy chỉnh. Cuối cùng, thử nghiệm các kỹ thuật tối ưu tham số như LoRA và áp dụng lượng tử hóa (quantization) để giảm bộ nhớ mô hình và chạy tác vụ hiệu quả hơn.

Working with Llama 3

Điều chỉnh Llama cho tác vụ tùy chỉnh với TorchTune, học kỹ thuật tinh chỉnh hiệu quả như lượng tử hóa.

Fine-Tuning với Llama 3

Tinh chỉnh Llama cho các tác vụ tùy chỉnh bằng TorchTune, và tìm hiểu các kỹ thuật tinh chỉnh hiệu quả như lượng tử hóa.

Cơ bản về Llama

Chạy một tác vụ TorchTune

Fine-Tuning với Llama 3

Bài tập tương tác thực hành