ÎncepețiÎncepe gratuit

Modele Hugging Face în LangChain!

Pe Hugging Face sunt disponibile mii de modele gratuite, gata de descărcat și utilizat. Hugging Face se integrează foarte ușor în LangChain prin biblioteca parteneră langchain-huggingface, pe care o ai deja la dispoziție.

În acest exercițiu, vei încărca și apela modelul crumb/nano-mistral de pe Hugging Face. Acesta este un LLM ultra-ușor, conceput pentru a fi ajustat fin în vederea obținerii unor performanțe mai bune.

Acest exercițiu face parte din cursul

Developing LLM Applications with LangChain

Vezi cursul

Instrucțiuni pentru exercițiu

  • Importă HuggingFacePipeline din langchain_huggingface pentru a lucra cu modele Hugging Face.
  • Definește un LLM de generare de text apelând HuggingFacePipeline.from_model_id().
  • Setează parametrul model_id pentru a specifica modelul Hugging Face pe care dorești să îl folosești.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Editează și rulează codul