Consulta al chatbot usando la API de Databricks Servings Endpoint
En el ejercicio anterior, aprendiste a usar el SDK de Databricks para consultar un modelo base de IA. El objetivo de este ejercicio es que experimentes con distintos mensajes de usuario y de sistema al consultar modelos de IA usando el SDK de Databricks.
Este ejercicio forma parte del curso
Databricks con el SDK de Python
Instrucciones del ejercicio
- Edita el mensaje de Sistema y observa cómo cambia la respuesta del modelo de IA.
- Edita el mensaje de Usuario y observa cómo cambia la respuesta del modelo de IA.
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")