Truy vấn chatbot bằng Databricks Servings Endpoint API
Trong bài trước, bạn đã học cách dùng Databricks SDK để truy vấn một mô hình AI Foundation. Mục tiêu của bài này là để bạn thử nghiệm các System prompt và User prompt khác nhau khi truy vấn mô hình AI bằng Databricks SDK
Bài tập này là một phần của khóa học
Databricks với Python SDK
Hướng dẫn bài tập
- Chỉnh sửa System prompt và xem mô hình AI phản hồi khác nhau ra sao.
- Chỉnh sửa User prompt và xem mô hình AI phản hồi khác nhau ra sao.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")