Databricks Servings Endpoint API kullanarak sohbet botunu sorgula
Önceki egzersizde, Databricks SDK kullanarak bir AI Foundation modelini nasıl sorgulayacağını öğrendin. Bu egzersizin amacı, Databricks SDK ile AI modellerini sorgularken farklı system ve user istemleriyle denemeler yapman.
Bu egzersiz, kursun bir parçasıdır
Python SDK ile Databricks
Egzersiz talimatları
- System istemini düzenle ve AI modelinin nasıl farklı yanıt verdiğini gör.
- User istemini düzenle ve AI modelinin nasıl farklı yanıt verdiğini gör.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")