ComeçarComece de graça

Modelos do Hugging Face no LangChain!

Há milhares de modelos que você pode baixar e usar de graça no Hugging Face. O Hugging Face se integra muito bem ao LangChain através de sua biblioteca de parceiros, langchain-huggingface, disponível para você usar.

Neste exercício, você vai carregar e chamar o modelo crumb/nano-mistral do Hugging Face. Esse é um LLM super leve, feito para ser ajustado para um desempenho melhor.

Este exercício faz parte do curso

Desenvolvimento de aplicativos de LLM com LangChain

Ver curso

Instruções do exercício

  • Importe a classe para definir os pipelines do Hugging Face no LangChain.
  • Defina um LLM de geração de texto usando o ID do modelo 'crumb/nano-mistral' do Hugging Face.
  • Use llm para prever as próximas palavras após o texto em prompt.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Import the class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
Editar e executar o código