Self-consistency om vertrouwen te meten
De onderstaande prompt vraagt ChatGPT om de sentimenten van een review te classificeren. Jij moet met self-consistency het vertrouwen van ChatGPT in elke klasse inschatten.
De functie get_response() om met ChatGPT te communiceren is alvast voor je geladen.
Deze oefening maakt deel uit van de cursus
Explainable AI in Python
Oefeninstructies
- Voeg voor elke review de
sentimenttoe aan de lijstresponses. - Bereken het vertrouwen voor elk sentiment.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
prompt = """Classify the following review as positive or negative.
You should reply with either "positive" or "negative", nothing else.
Review: 'The coffee was excellent, but the service left much to be desired.'"""
responses = []
for i in range(5):
sentiment = get_response(prompt)
# Append the response to the responses list
____
# Compute the confidence for each sentiment
confidence = {
'positive': ____,
'negative': ____
}
print(confidence)