НачатьНачать бесплатно

Модели Hugging Face в LangChain!

На платформе Hugging Face доступны тысячи моделей, которые можно свободно скачивать и использовать. Hugging Face отлично интегрируется с LangChain через партнёрскую библиотеку langchain-huggingface, которая уже готова к работе в этом упражнении.

В этом упражнении вы загрузите и вызовете модель crumb/nano-mistral из Hugging Face. Это сверхлёгкая языковая модель, предназначенная для дообучения с целью повышения производительности.

Это упражнение является частью курса

Разработка LLM-приложений с помощью LangChain

Посмотреть курс

Инструкции к упражнению

  • Импортируйте HuggingFacePipeline из langchain_huggingface для работы с моделями Hugging Face.
  • Определите языковую модель для генерации текста, вызвав метод HuggingFacePipeline.from_model_id().
  • Задайте параметр model_id, чтобы указать, какую модель Hugging Face использовать.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Редактировать и запускать код