Interroger un agent conversationnel à l'aide de l'API Databricks Servings Endpoint
Dans l'exercice précédent, vous avez appris à utiliser le SDK Databricks pour interroger un modèle d'IA Foundation. Le but de cet exercice est d'expérimenter différents messages de rôle système et utilisateur lorsque vous interrogez des modèles d'IA avec le SDK Databricks.
Cette activité fait partie du cours
Databricks avec le SDK Python
Instructions de l’exercice
- Modifiez l'invite du système et observez comment le modèle d'IA répond différemment.
- Modifiez l'invite de l'utilisateur et observez comment le modèle d'IA répond différemment.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")