낮은 신뢰도
이 연습 문제에서는 보상 모델을 사용해 입력 텍스트를 얼마나 자신 있게 분류하는지 평가하고, 신뢰도가 낮은 예측을 걸러낼 거예요. 목표는 모델의 예측 생성 능력을 평가하고, 신뢰도 임계값을 적용해 높은 신뢰도의 예측만 유효한 것으로 간주하도록 하는 것입니다.
각 피드백 텍스트에 대한 확률 분포(prob_dists)와 피드백 텍스트(texts) 변수, 그리고 least_confidence() 함수가 로드되어 있습니다.
이 연습은 강의의 일부입니다
Reinforcement Learning from Human Feedback (RLHF)
연습 안내
- 주어진 임계값보다 신뢰도가 낮은 확률 분포의 인덱스를 걸러내는 함수를 정의하세요.
- 임계값은 그대로(
0.5) 두고, 확률 분포를 함수에 전달해 피드백 코멘트의 인덱스를 구하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Define the filter function
def filter_low_confidence_predictions(prob_dists, threshold=0.5):
filtered_indices = [i for i, ____ in enumerate(____) ____]
return filtered_indices
# Find the indices
filtered_indices = ____
high_confidence_texts = [texts[i] for i in filtered_indices]
print("High-confidence texts:", high_confidence_texts)