ÎncepețiÎncepe gratuit

Interogarea unui chatbot folosind API-ul Databricks Servings Endpoint

În exercițiul anterior, ai învățat cum să folosești Databricks SDK pentru a interoga un model AI Foundation. Scopul acestui exercițiu este să experimentezi cu diferite prompturi de sistem și de utilizator atunci când interoghezi modele AI folosind Databricks SDK.

Acest exercițiu face parte din cursul

Databricks cu Python SDK

Vezi cursul

Instrucțiuni pentru exercițiu

  • Editează promptul de sistem și observă cum răspunde diferit modelul AI.
  • Editează promptul de utilizator și observă cum răspunde diferit modelul AI.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage( 
          	# Edit the System prompt
            role=ChatMessageRole.SYSTEM, content=""
        ),
        ChatMessage( 
          	# Edit the User prompt
            role=ChatMessageRole.USER, content="" 
        ),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")
Editează și rulează codul