LoslegenKostenlos starten

Hugging Face-Modelle in LangChain!

Auf Hugging Face stehen Tausende Modelle zum Abruf bereit, die du kostenlos herunterladen und nutzen kannst. Hugging Face lässt sich über die Partnerbibliothek langchain-huggingface, die du nutzen kannst, super in LangChain integrieren.

In dieser Übung lädst du das Modell crumb/nano-mistral von Hugging Face und rufst es auf. Das ist ein sehr schlankes LLM, der auf Leistung optimiert wurde.

Diese Übung ist Teil des Kurses

<Kurs>Entwickeln von LLM-Anwendungen mit LangChain</Kurs>
Kurs ansehen

Übungsanweisungen

  • Importier „ HuggingFacePipeline ” von „ langchain_huggingface ”, um mit Hugging Face-Modellen zu arbeiten.
  • Definiere ein LLM zur Textgenerierung, indem du „ HuggingFacePipeline.from_model_id() “ aufrufst.
  • Stell den Parameter „ model_id ” ein, um anzugeben, welches Hugging Face-Modell verwendet werden soll.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Code bearbeiten und ausführen