LoslegenKostenlos loslegen

Hugging Face-Modelle in LangChain!

Auf Hugging Face stehen Tausende Modelle zum Abruf bereit, die du kostenlos herunterladen und nutzen kannst. Hugging Face lässt sich über die Partnerbibliothek langchain-huggingface, die du nutzen kannst, super in LangChain integrieren.

In dieser Übung lädst du das Modell crumb/nano-mistral von Hugging Face und rufst es auf. Das ist ein sehr schlankes LLM, der auf Leistung optimiert wurde.

Diese Übung ist Teil des Kurses

Entwickeln von LLM-Anwendungen mit LangChain

Kurs anzeigen

Anleitung zur Übung

  • Importiere die Klasse zum Definieren von Hugging Face-Pipelines in LangChain.
  • Definiere ein LLM zur Textgenerierung mit der Modell-ID 'crumb/nano-mistral' von Hugging Face.
  • Verwende llm, um die nächsten Wörter nach dem Text in prompt vorherzusagen zu lassen.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Import the class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Code bearbeiten und ausführen