Spójność odpowiedzi jako miara pewności modelu
Poniższy prompt służy do tego, żeby poprosić ChatGPT o sklasyfikowanie wydźwięku recenzji. Twoim zadaniem jest oszacowanie pewności ChatGPT dla każdej klasy przy użyciu metody spójności odpowiedzi (self-consistency).
Funkcja get_response() do komunikacji z ChatGPT jest już wczytana.
To ćwiczenie jest częścią kursu
Wyjaśnialne AI w Pythonie
Instrukcje do ćwiczenia
- Dla każdej recenzji dołącz
sentimentdo listyresponses. - Oblicz pewność modelu dla każdego wydźwięku.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
prompt = """Classify the following review as positive or negative.
You should reply with either "positive" or "negative", nothing else.
Review: 'The coffee was excellent, but the service left much to be desired.'"""
responses = []
for i in range(5):
sentiment = get_response(prompt)
# Append the response to the responses list
____
# Compute the confidence for each sentiment
confidence = {
'positive': ____,
'negative': ____
}
print(confidence)