ПочатиПочніть безкоштовно

Моделі Hugging Face у LangChain!

На Hugging Face доступні тисячі моделей для безплатного завантаження та використання. Hugging Face чудово інтегрується з LangChain через партнерську бібліотеку langchain-huggingface, яку ви можете використовувати.

У цій вправі ви завантажите й викличете модель crumb/nano-mistral з Hugging Face. Це надлегкий LLM, створений для подальшого донавчання задля кращої продуктивності.

Ця вправа є частиною курсу

Розроблення застосунків LLM за допомогою LangChain

Переглянути курс

Інструкції до вправи

  • Імпортуйте HuggingFacePipeline з langchain_huggingface, щоб працювати з моделями Hugging Face.
  • Визначте LLM для генерації тексту, викликавши HuggingFacePipeline.from_model_id().
  • Задайте параметр model_id, щоб указати, яку модель Hugging Face використовувати.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Редагувати та запускати код