CommencezCommencez gratuitement

Interroger un agent conversationnel à l'aide de l'API Databricks Servings Endpoint

Dans l'exercice précédent, vous avez appris à utiliser le SDK Databricks pour interroger un modèle d'IA Foundation. Le but de cet exercice est d'expérimenter différents messages de rôle système et utilisateur lorsque vous interrogez des modèles d'IA avec le SDK Databricks.

Cette activité fait partie du cours

Databricks avec le SDK Python

Voir le cours

Instructions de l’exercice

  • Modifiez l'invite du système et observez comment le modèle d'IA répond différemment.
  • Modifiez l'invite de l'utilisateur et observez comment le modèle d'IA répond différemment.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage( 
          	# Edit the System prompt
            role=ChatMessageRole.SYSTEM, content=""
        ),
        ChatMessage( 
          	# Edit the User prompt
            role=ChatMessageRole.USER, content="" 
        ),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")
Modifier et exécuter le code