使用 Databricks Servings Endpoint API 查询聊天机器人
在上一个练习中，您学习了如何使用 Databricks SDK 查询一个 AI 基础模型。此练习的目标是让您在使用 Databricks SDK 查询 AI 模型时，尝试不同的 System 与 User 提示词。
本练习是课程的一部分
使用 Python SDK 的 Databricks
练习说明
- 编辑 System 提示词，观察 AI 模型的不同响应。
- 编辑 User 提示词，观察 AI 模型的不同响应。
交互式实操练习
通过完成这段示例代码来试试这个练习。
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")