Запрос к чат-боту через API Databricks Servings Endpoint

В предыдущем упражнении вы научились использовать Databricks SDK для обращения к базовой модели ИИ. Цель этого упражнения — поэкспериментировать с различными системными и пользовательскими промптами при запросах к моделям ИИ через Databricks SDK.

Это упражнение является частью курса

Databricks с Python SDK

Посмотреть курс

Инструкции к упражнению

Измените системный промпт и посмотрите, как изменится ответ модели ИИ.
Измените пользовательский промпт и посмотрите, как изменится ответ модели ИИ.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage( 
          	# Edit the System prompt
            role=ChatMessageRole.SYSTEM, content=""
        ),
        ChatMessage( 
          	# Edit the User prompt
            role=ChatMessageRole.USER, content="" 
        ),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

Редактировать и запускать код