Trò chuyện với Llama 3
Một công ty phân tích dữ liệu đang phát triển trợ lý AI nội bộ để giúp nhân viên nhanh chóng truy cập thông tin kỹ thuật. Trong dự án này, họ muốn tích hợp Llama 3 và đã nhờ bạn kiểm thử.
Để bắt đầu, bạn sẽ khởi tạo mô hình Llama 3 trên máy cục bộ và tạo phản hồi cho một câu hỏi.
Đường dẫn mô hình đã được lưu trong biến llama_path.
Bài tập này là một phần của khóa học
Làm việc với Llama 3
Hướng dẫn bài tập
- Import lớp
Llamatừllama_cpp. - Khởi tạo một thể hiện của
Llama, chỉ địnhllama_pathlàm đường dẫn tới tệp mô hình.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import the Llama class
from llama_cpp import ____
# Initialize the Llama model
llm = ____(model_path=____)
question = "What is the most used database for data storage?"
response = llm(question)
print(response)