Tăng tốc suy luận trên các mô hình đã lượng tử hóa
Công ty bạn đã dùng một mô hình Llama cho chatbot hỗ trợ khách hàng một thời gian với lượng tử hóa. Một trong những phàn nàn lớn nhất từ khách hàng là bot trả lời rất chậm và đôi khi tạo ra câu trả lời kỳ lạ.
Bạn nghi ngờ điều này có thể do lượng tử hóa xuống 4-bit mà không chuẩn hóa. Trong quá trình điều tra, bạn cũng nghi ngờ đánh đổi về tốc độ đến từ các phép tính suy luận đang dùng số thực 32-bit.
Bạn muốn điều chỉnh cấu hình lượng tử hóa để cải thiện tốc độ suy luận của mô hình. Các import sau đã được tải sẵn: AutoModelForCausalLM, AutoTokenizer, và BitsAndBytesConfig.
Bài tập này là một phần của khóa học
Fine-Tuning với Llama 3
Hướng dẫn bài tập
- Đặt kiểu lượng tử hóa thành 4-bit đã chuẩn hóa để giảm outlier, nhờ đó giảm các câu trả lời vô nghĩa.
- Đặt kiểu tính toán thành bfloat16 để tăng tốc độ tính toán khi suy luận.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
# Set quantization type to normalized 4-bit
____=____,
# Set compute data type to be bfloat16
____=____
)
model = AutoModelForCausalLM.from_pretrained(
"Maykeye/TinyLLama-v0",
quantization_config=bnb_config,
low_cpu_mem_usage=True
)