Självkonsistens för att bedöma säkerhet
prompt nedan syftar till att be ChatGPT klassificera sentimentet i en recension. Du ska uppskatta ChatGPT:s säkerhet för varje klass med hjälp av självkonsistens.
Funktionen get_response() för att kommunicera med ChatGPT är förinstallerad.
Den här övningen är en del av kursen
Förklarbar AI i Python
Övningsinstruktioner
- För varje recension, lägg till
sentimenti listanresponses. - Beräkna säkerheten för varje sentiment.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
prompt = """Classify the following review as positive or negative.
You should reply with either "positive" or "negative", nothing else.
Review: 'The coffee was excellent, but the service left much to be desired.'"""
responses = []
for i in range(5):
sentiment = get_response(prompt)
# Append the response to the responses list
____
# Compute the confidence for each sentiment
confidence = {
'positive': ____,
'negative': ____
}
print(confidence)