Dotazování chatbotu přes Databricks Servings Endpoint API
V předchozím cvičení jsi se naučil/a používat Databricks SDK k dotazování AI Foundation modelu. Cílem tohoto cvičení je vyzkoušet si různé systémové a uživatelské prompty při dotazování AI modelů pomocí Databricks SDK.
Toto cvičení je součástí kurzu
Databricks with the Python SDK
Pokyny k cvičení
- Uprav systémový prompt a sleduj, jak se změní odpověď AI modelu.
- Uprav uživatelský prompt a sleduj, jak se změní odpověď AI modelu.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
name="databricks-meta-llama-3-3-70b-instruct",
messages=[
ChatMessage(
# Edit the System prompt
role=ChatMessageRole.SYSTEM, content=""
),
ChatMessage(
# Edit the User prompt
role=ChatMessageRole.USER, content=""
),
],
max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")