MulaiMulai sekarang secara gratis

Model Hugging Face di LangChain!

Ada ribuan model yang tersedia gratis untuk diunduh dan digunakan di Hugging Face. Hugging Face terintegrasi dengan sangat baik ke dalam LangChain melalui pustaka mitranya, langchain-huggingface, yang tersedia untuk Anda gunakan.

Pada latihan ini, Anda akan memuat dan memanggil model crumb/nano-mistral dari Hugging Face. Ini adalah LLM yang sangat ringan yang dirancang untuk disesuaikan (fine-tuned) agar kinerjanya meningkat.

Latihan ini adalah bagian dari kursus

Mengembangkan Aplikasi LLM dengan LangChain

Lihat Kursus

Petunjuk latihan

  • Impor HuggingFacePipeline dari langchain_huggingface untuk bekerja dengan model Hugging Face.
  • Definisikan LLM generasi teks dengan memanggil HuggingFacePipeline.from_model_id().
  • Atur parameter model_id untuk menentukan model Hugging Face yang akan digunakan.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Edit dan Jalankan Kode