कम कॉन्फिडेंस
इस अभ्यास में, आप एक रिवार्ड मॉडल के साथ काम करेंगे ताकि यह आँका जा सके कि वह इनपुट टेक्स्ट को कितने आत्मविश्वास के साथ क्लासिफाई करता है, और कम विश्वसनीयता वाली प्रेडिक्शंस को फ़िल्टर किया जा सके. उद्देश्य है मॉडल की प्रेडिक्शन जनरेट करने की क्षमता का मूल्यांकन करना और एक कॉन्फिडेंस थ्रेशोल्ड लागू करना ताकि केवल हाई-कॉन्फिडेंस प्रेडिक्शंस को वैध माना जाए.
हर फीडबैक टेक्स्ट के लिए probability distributions (prob_dists), फीडबैक टेक्स्ट (texts) वैरिएबल, और least_confidence() फंक्शन लोड किए गए हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
मानवीय फीडबैक से रिइनफोर्समेंट लर्निंग (RLHF)
अभ्यास निर्देश
- वह फंक्शन परिभाषित करें जो उन probability distributions के इंडेक्स फ़िल्टर करे जिनका कॉन्फिडेंस दिए गए थ्रेशोल्ड से कम है.
- थ्रेशोल्ड को बदले बिना (
0.5), probability distributions को फंक्शन में पास करके फीडबैक कमेंट्स के इंडेक्स प्राप्त करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Define the filter function
def filter_low_confidence_predictions(prob_dists, threshold=0.5):
filtered_indices = [i for i, ____ in enumerate(____) ____]
return filtered_indices
# Find the indices
filtered_indices = ____
high_confidence_texts = [texts[i] for i in filtered_indices]
print("High-confidence texts:", high_confidence_texts)