자기일관성으로 신뢰도 평가하기

아래의 prompt는 ChatGPT에게 리뷰의 감성을 분류하도록 요청합니다. 자기일관성(self-consistency)을 사용해 각 클래스에 대한 ChatGPT의 신뢰도를 추정해 보세요.

ChatGPT와 통신하기 위한 get_response() 함수가 미리 로드되어 있습니다.

이 연습은 강의의 일부입니다

Python으로 배우는 Explainable AI

연습 안내

각 리뷰에 대해 responses 리스트에 sentiment를 추가하세요.
각 감성에 대한 신뢰도를 계산하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

prompt = """Classify the following review as positive or negative. 
You should reply with either "positive" or "negative", nothing else.
Review: 'The coffee was excellent, but the service left much to be desired.'"""

responses = []
for i in range(5):
    sentiment = get_response(prompt)
    # Append the response to the responses list
    ____

# Compute the confidence for each sentiment
confidence = {
    'positive': ____,
    'negative': ____
}

print(confidence)

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python으로 배우는 Explainable AI

SkillTag.level.intermediateSkillTag.label

4.8+

무료로 강의 시작하기

Explainable AI의 기본 개념을 탐구하며 학습을 시작해 보세요. 의사결정나무에서 의사결정 규칙을 추출하는 방법을 배우고, 선형 및 트리 기반 모델에서 특성 중요도를 도출하고 시각화하여 모델이 예측을 수행하는 방식을 이해함으로써 더 투명한 의사결정을 가능하게 합니다.

Exercise 1: 설명 가능한 AI 소개 Exercise 2: 의사결정나무 vs. 신경망 Exercise 3: 모델 불가지론적 vs. 모델 특정적 설명 가능성 Exercise 4: 선형 모델의 설명 가능성 Exercise 5: 선형 회귀로 특징 영향력 계산하기 Exercise 6: Logistic Regression으로 특성 영향력 계산하기 Exercise 7: 트리 기반 모델의 설명 가능성 Exercise 8: 결정 트리로 특성 중요도 계산하기 Exercise 9: 랜덤 포레스트로 특성 중요도 계산하기

모델 비특이적 기법을 활용해 다양한 모델 전반에서 특성의 영향력을 파악해 보세요. permutation importance와 SHAP 값을 사용해 특성이 모델 동작에 미치는 영향을 분석합니다. SHAP 시각화 도구를 살펴보며 설명 가능성 개념을 더 쉽게 이해할 수 있도록 합니다.

Exercise 1: Permutation 중요도 Exercise 2: MLPClassifier를 위한 Permutation importance Exercise 3: 계수 vs. 순열 중요도 Exercise 4: SHAP 설명 가능성 Exercise 5: SHAP으로 핵심 의료 청구 예측 변수 찾기 Exercise 6: SHAP으로 심장 질환의 핵심 예측 변수 찾기 Exercise 7: SHAP 커널 익스플레이너 Exercise 8: MLPRegressor를 위한 Kernel explainer Exercise 9: MLPClassifier를 위한 Kernel Explainer Exercise 10: SHAP vs. 모델별 접근법 Exercise 11: SHAP 설명 가능성 시각화 Exercise 12: 입학 분석을 위한 특징 중요도 플롯 Exercise 13: beeswarm 플롯으로 특성 효과 분석하기 Exercise 14: 부분 의존 플롯으로 영향 평가하기

로컬 설명 가능성에 집중해 개별 예측을 설명해 보세요. 로컬 설명 가능성을 위해 SHAP을 활용하는 방법을 배우고, LIME을 익혀 텍스트, 표 형태, 이미지 데이터 등 단일 결과에 영향을 미치는 구체적 요인을 밝혀냅니다.

Exercise 1: SHAP으로 살펴보는 로컬 설명 가능성 Exercise 2: 전역 vs. 국소 설명가능성 Exercise 3: 수입 수준 설명을 위한 SHAP Exercise 4: LIME을 활용한 로컬 설명가능성 Exercise 5: 회귀 모델의 국소적 해석 Exercise 6: 분류기를 개별 예측 단위로 해석하기 Exercise 7: LIME을 활용한 텍스트와 이미지 설명 가능성 Exercise 8: 감성 분석 예측 설명하기 Exercise 9: 음식 이미지 예측 설명하기

모델 동작과 설명 방법의 효과를 평가하며 Explainable AI의 고급 주제를 탐구하세요. 설명의 일관성과 충실도를 평가하는 역량을 갖추고, 비지도 모델 분석을 파고들며, ChatGPT 같은 생성형 AI 모델의 추론 과정을 명확히 하는 방법을 배웁니다. 복잡한 AI 시스템에서 설명 가능성을 측정하고 향상시키는 기법을 익히세요.

Exercise 1: 설명가능성 지표 Exercise 2: SHAP 설명 일관성 평가하기 Exercise 3: LIME으로 faithfulness 평가하기 Exercise 4: 비지도 모델 설명하기 Exercise 5: 클러스터 품질에 대한 특성 영향 Exercise 6: ARI로 클러스터링에서의 특성 중요도 구하기 Exercise 7: 채팅 기반 생성형 AI 모델 설명하기 Exercise 8: 추론을 드러내는 Chain-of-thought Exercise 9: 자기일관성으로 신뢰도 평가하기

현재 연습

Exercise 10: 축하합니다