Bắt đầu ngayBắt đầu miễn phí

Model Hugging Face trong LangChain!

Có hàng nghìn model miễn phí để tải về và sử dụng trên Hugging Face. Hugging Face tích hợp rất mượt với LangChain thông qua thư viện đối tác langchain-huggingface, mà bạn có thể dùng ngay trong bài này.

Trong bài tập này, bạn sẽ tải và gọi model crumb/nano-mistral từ Hugging Face. Đây là một LLM siêu nhẹ, được thiết kế để fine-tune nhằm đạt hiệu năng cao hơn.

Bài tập này là một phần của khóa học

Phát triển ứng dụng LLM với LangChain

Xem khóa học

Hướng dẫn bài tập

  • Import HuggingFacePipeline từ langchain_huggingface để làm việc với các model Hugging Face.
  • Định nghĩa một LLM sinh văn bản bằng cách gọi HuggingFacePipeline.from_model_id().
  • Thiết lập tham số model_id để chỉ rõ model Hugging Face sẽ sử dụng.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Chỉnh sửa và Chạy Mã