Model Hugging Face di LangChain!
Ada ribuan model yang tersedia gratis untuk diunduh dan digunakan di Hugging Face. Hugging Face terintegrasi dengan sangat baik ke dalam LangChain melalui pustaka mitranya, langchain-huggingface, yang tersedia untuk Anda gunakan.
Pada latihan ini, Anda akan memuat dan memanggil model crumb/nano-mistral dari Hugging Face. Ini adalah LLM yang sangat ringan yang dirancang untuk disesuaikan (fine-tuned) agar kinerjanya meningkat.
Latihan ini adalah bagian dari kursus
Mengembangkan Aplikasi LLM dengan LangChain
Petunjuk latihan
- Impor
HuggingFacePipelinedarilangchain_huggingfaceuntuk bekerja dengan model Hugging Face. - Definisikan LLM generasi teks dengan memanggil
HuggingFacePipeline.from_model_id(). - Atur parameter
model_iduntuk menentukan model Hugging Face yang akan digunakan.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____
# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
____="crumb/nano-mistral",
task="text-generation",
pipeline_kwargs={"max_new_tokens": 20}
)
prompt = "Hugging Face is"
# Invoke the model
response = llm.invoke(prompt)
print(response)