Databricks Servings Endpoint API로 챗봇 쿼리하기
이전 연습 문제에서는 Databricks SDK를 사용해 AI Foundation 모델을 쿼리하는 방법을 배웠습니다. 이번 연습 문제의 목표는 Databricks SDK로 AI 모델을 쿼리할 때 다양한 사용자 및 시스템 프롬프트를 직접 실험해 보는 것입니다.
이 연습은 강의의 일부입니다
Python SDK로 Databricks 다루기
연습 안내
- 시스템 프롬프트를 수정하고 AI 모델의 응답이 어떻게 달라지는지 확인해 보세요.
- 사용자 프롬프트를 수정하고 AI 모델의 응답이 어떻게 달라지는지 확인해 보세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")