Interroger un chatbot avec l'API Databricks Servings Endpoint
Dans l'exercice précédent, vous avez appris à utiliser le SDK Databricks pour interroger un modèle d'AI Foundation. L'objectif de cet exercice est d'expérimenter différents prompts de type System et User lors de l'interrogation de modèles d'IA avec le SDK Databricks.
Cet exercice fait partie du cours
<cours>Databricks avec le SDK Python</cours>Instructions de l’exercice
- Modifiez le prompt System et observez comment le modèle d'IA répond différemment.
- Modifiez le prompt User et observez comment le modèle d'IA répond différemment.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")