Самосогласованность для оценки уверенности
Запрос prompt ниже предназначен для того, чтобы попросить ChatGPT классифицировать тональность отзыва. Вам нужно оценить уверенность ChatGPT в каждом классе с помощью метода самосогласованности.
Функция get_response() для взаимодействия с ChatGPT уже загружена.
Это упражнение является частью курса
Объяснимый ИИ на Python
Инструкции к упражнению
- Для каждого отзыва добавьте
sentimentв списокresponses. - Вычислите уверенность модели для каждой тональности.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
prompt = """Classify the following review as positive or negative.
You should reply with either "positive" or "negative", nothing else.
Review: 'The coffee was excellent, but the service left much to be desired.'"""
responses = []
for i in range(5):
sentiment = get_response(prompt)
# Append the response to the responses list
____
# Compute the confidence for each sentiment
confidence = {
'positive': ____,
'negative': ____
}
print(confidence)