始める無料で始める

LangChainでのHugging Faceモデル！

Hugging Face では、数千ものモデルを無料でダウンロードして利用できます。Hugging Face はパートナーライブラリ langchain-huggingface を通じて LangChain と簡単に連携でき、この演習でも使用できます。

ここでは、Hugging Face から crumb/nano-mistral モデルを読み込んで呼び出してみましょう。このモデルは、さらなる性能向上のためにファインチューニングを想定した超軽量の LLM です。

この演習はコースの一部です

LangChainを使ったLLMアプリケーション開発

コースを見る

演習の手順

  • Hugging Face のモデルを扱うために、HuggingFacePipeline から langchain_huggingface をインポートします。
  • HuggingFacePipeline.from_model_id() を呼び出して、テキスト生成用の LLM を定義します。
  • model_id パラメータに、使用する Hugging Face モデルを指定します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Import the HuggingFacePipeline class for defining Hugging Face pipelines
from langchain_huggingface import ____

# Define the LLM from the Hugging Face model ID
llm = ____.from_model_id(
    ____="crumb/nano-mistral",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 20}
)

prompt = "Hugging Face is"

# Invoke the model
response = llm.invoke(prompt)
print(response)
コードを編集して実行