Vlastní konzistence pro odhad spolehlivosti

Níže uvedený prompt slouží k tomu, aby ChatGPT klasifikoval sentiment recenze. Tvým úkolem je pomocí vlastní konzistence odhadnout, jak si je ChatGPT jistý u každé třídy.

Funkce get_response() pro komunikaci s ChatGPT je již předem načtená.

Toto cvičení je součástí kurzu

Explainable AI v Pythonu

Zobrazit kurz

Pokyny k cvičení

Pro každou recenzi přidej hodnotu sentiment do seznamu responses.
Vypočítej spolehlivost pro každý sentiment.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

prompt = """Classify the following review as positive or negative. 
You should reply with either "positive" or "negative", nothing else.
Review: 'The coffee was excellent, but the service left much to be desired.'"""

responses = []
for i in range(5):
    sentiment = get_response(prompt)
    # Append the response to the responses list
    ____

# Compute the confidence for each sentiment
confidence = {
    'positive': ____,
    'negative': ____
}

print(confidence)

Upravit a spustit kód