Zacznij terazZacznij za darmo

Modele Hugging Face w LangChain!

Na platformie Hugging Face dostępne są tysiące modeli gotowych do pobrania i użycia. Hugging Face bardzo dobrze integruje się z LangChain za pośrednictwem biblioteki partnerskiej langchain-huggingface, z której możesz skorzystać.

W tym ćwiczeniu wczytasz i wywołasz model crumb/nano-mistral z Hugging Face. To ultralekki model językowy zaprojektowany z myślą o dostrajaniu w celu uzyskania lepszej wydajności.

To ćwiczenie jest częścią kursu

Tworzenie aplikacji LLM z LangChain

Zobacz kurs

Instrukcje do ćwiczenia

  • Zaimportuj HuggingFacePipeline z langchain_huggingface, aby pracować z modelami Hugging Face.
  • Zdefiniuj model językowy do generowania tekstu, wywołując metodę HuggingFacePipeline.from_model_id().
  • Ustaw parametr model_id, aby wskazać, który model z Hugging Face ma zostać użyty.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Edytuj i uruchom kod