Fråga chatbot via Databricks Servings Endpoint API
I föregående övning lärde du dig hur man använder Databricks SDK för att skicka förfrågningar till en AI-grundmodell. I den här övningen får du experimentera med olika system- och användarprompts när du frågar AI-modeller via Databricks SDK.
Den här övningen är en del av kursen
Databricks med Python SDK
Övningsinstruktioner
- Redigera systempromptens och se hur AI-modellen svarar på olika sätt.
- Redigera användarpromptens och se hur AI-modellen svarar på olika sätt.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")