Databricks Servings Endpoint API का उपयोग करके चैटबॉट से क्वेरी करें
पिछले अभ्यास में, आपने सीखा कि Databricks SDK का उपयोग करके किसी AI Foundation मॉडल से क्वेरी कैसे की जाती है। इस अभ्यास का उद्देश्य है कि आप Databricks SDK से AI मॉडल को क्वेरी करते समय अलग-अलग system और user प्रॉम्प्ट्स के साथ प्रयोग करें.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python SDK के साथ Databricks
अभ्यास निर्देश
- System प्रॉम्प्ट एडिट कीजिए और देखें कि AI मॉडल का जवाब कैसे बदलता है.
- User प्रॉम्प्ट एडिट कीजिए और देखें कि AI मॉडल का जवाब कैसे बदलता है.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")