Interroga il chatbot usando la Databricks Servings Endpoint API
Nell'esercizio precedente hai imparato a usare il Databricks SDK per interrogare un modello AI Foundation. L'obiettivo di questo esercizio è farti sperimentare diversi prompt di sistema e dell'utente quando interroghi modelli di AI usando il Databricks SDK
Questo esercizio fa parte del corso
Databricks con il Python SDK
Istruzioni dell'esercizio
- Modifica il prompt di Sistema e osserva come cambia la risposta del modello di AI.
- Modifica il prompt dell'Utente e osserva come cambia la risposta del modello di AI.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")