Kom igångKom igång gratis

Hugging Face-modeller i LangChain!

Det finns tusentals modeller som är fritt tillgängliga att ladda ned och använda på Hugging Face. Hugging Face integreras smidigt med LangChain via partnerbiblioteket langchain-huggingface, som redan är tillgängligt för dig.

I den här övningen laddar du och anropar modellen crumb/nano-mistral från Hugging Face. Det är en extremt lättviktig LLM som är utformad för att finjusteras för bättre prestanda.

Den här övningen är en del av kursen

Utveckla LLM-applikationer med LangChain

Visa kurs

Övningsinstruktioner

  • Importera HuggingFacePipeline från langchain_huggingface för att arbeta med Hugging Face-modeller.
  • Definiera en LLM för textgenerering genom att anropa HuggingFacePipeline.from_model_id().
  • Ange parametern model_id för att specificera vilken Hugging Face-modell som ska användas.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Redigera och kör kod