IniziaInizia gratis

Modelli Hugging Face in LangChain!

Su Hugging Face trovi migliaia di modelli da scaricare e usare gratuitamente. Hugging Face si integra perfettamente in LangChain tramite la libreria partner langchain-huggingface, già a tua disposizione.

In questo esercizio caricherai e chiamerai il modello crumb/nano-mistral da Hugging Face. Si tratta di un LLM ultra-leggero pensato per essere messo a punto (fine-tuned) per ottenere prestazioni superiori.

Questo esercizio fa parte del corso

Sviluppare applicazioni LLM con LangChain

Visualizza il corso

Istruzioni dell'esercizio

  • Importa HuggingFacePipeline da langchain_huggingface per lavorare con i modelli Hugging Face.
  • Definisci un LLM di generazione di testo chiamando HuggingFacePipeline.from_model_id().
  • Imposta il parametro model_id per specificare quale modello di Hugging Face usare.

Esercizio pratico interattivo

Prova a risolvere questo esercizio completando il codice di esempio.

# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Modifica ed esegui il codice