Databricks Servings Endpoint API を使ったチャットボットへのクエリ
前の演習では、Databricks SDK を使って AI 基盤モデルにクエリを送る方法を学びました。この演習では、Databricks SDK を使って AI モデルにクエリを送る際に、さまざまなユーザープロンプトとシステムプロンプトを試してみましょう。
この演習はコースの一部です
Databricks と Python SDK
演習の手順
- システムプロンプトを編集して、AIモデルの応答がどのように変わるか確認しましょう。
- ユーザープロンプトを編集して、AIモデルの応答がどのように変わるか確認しましょう。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")