使用 Databricks Servings Endpoint API 查詢聊天機器人
在上一個練習中，你學到了如何使用 Databricks SDK 來查詢 AI Foundation 模型。這個練習的目標是讓你在使用 Databricks SDK 查詢 AI 模型時，嘗試不同的 System 與 User 提示詞。
本練習屬於課程
使用 Python SDK 的 Databricks
練習說明
- 編輯 System 提示詞，觀察 AI 模型會如何產生不同回應。
- 編輯 User 提示詞，觀察 AI 模型會如何產生不同回應。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")