Consultar chatbot usando a API do Endpoint de Servings do Databricks
No exercício anterior, você aprendeu a usar o Databricks SDK para consultar um modelo de AI Foundation. O objetivo deste exercício é fazer você experimentar diferentes prompts de usuário e de sistema ao consultar modelos de IA usando o Databricks SDK
Este exercicio faz parte do curso
Databricks com o SDK em Python
Instruções do exercicio
- Edite o prompt de Sistema e veja como o modelo de IA responde de forma diferente.
- Edite o prompt de Usuário e veja como o modelo de IA responde de forma diferente.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")