1. Nauka
    2. /
  2. Kursy
    3. /
  3. Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)
Connected

ćwiczenie

Niska pewność

W tym ćwiczeniu będziesz pracować z modelem nagrody, aby ocenić, z jaką pewnością klasyfikuje on tekst wejściowy, oraz aby odfiltrować predykcje, które nie są wystarczająco wiarygodne. Celem jest sprawdzenie zdolności modelu do generowania predykcji i zastosowanie progu pewności, tak by za trafne uznawać tylko predykcje o wysokiej pewności.

Wczytano następujące zmienne: rozkłady prawdopodobieństwa dla każdego tekstu z informacją zwrotną (prob_dists), teksty z informacją zwrotną (texts) oraz funkcję least_confidence().

Instrukcje

100 XP
  • Zdefiniuj funkcję, która filtruje indeksy tych rozkładów prawdopodobieństwa, dla których pewność jest poniżej zadanego progu.
  • Pobierz indeksy komentarzy z informacją zwrotną, przekazując rozkłady prawdopodobieństwa do funkcji i pozostawiając próg bez zmian (0.5).