Začněte nyníZačněte zdarma

Modely z Hugging Face v LangChainu!

Na Hugging Face jsou k dispozici tisíce modelů, které si můžeš zdarma stáhnout a používat. Hugging Face se do LangChainu integruje velmi přirozeně prostřednictvím partnerské knihovny langchain-huggingface, kterou máš k dispozici.

V tomto cvičení načteš a zavoláš model crumb/nano-mistral z Hugging Face. Jde o extrémně lehký LLM navržený k doladění (fine-tuning) pro lepší výkon.

Toto cvičení je součástí kurzu

Vývoj LLM aplikací s LangChain

Zobrazit kurz

Pokyny k cvičení

  • Importuj HuggingFacePipeline z langchain_huggingface pro práci s modely Hugging Face.
  • Definuj LLM pro generování textu voláním HuggingFacePipeline.from_model_id().
  • Nastav parametr model_id, aby určoval, který model z Hugging Face se má použít.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Upravit a spustit kód