Zacznij terazZacznij za darmo

Zapytanie chatbota za pomocą API Databricks Servings Endpoint

W poprzednim ćwiczeniu nauczyłeś się korzystać z Databricks SDK do wysyłania zapytań do modeli bazowych AI. Celem tego ćwiczenia jest eksperymentowanie z różnymi promptami użytkownika i systemu podczas odpytywania modeli AI za pomocą Databricks SDK.

To ćwiczenie jest częścią kursu

Databricks z Python SDK

Zobacz kurs

Instrukcje do ćwiczenia

  • Zmodyfikuj prompt systemowy i sprawdź, jak zmienia się odpowiedź modelu AI.
  • Zmodyfikuj prompt użytkownika i sprawdź, jak zmienia się odpowiedź modelu AI.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage( 
          	# Edit the System prompt
            role=ChatMessageRole.SYSTEM, content=""
        ),
        ChatMessage( 
          	# Edit the User prompt
            role=ChatMessageRole.USER, content="" 
        ),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")
Edytuj i uruchom kod