1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Reinforcement Learning from Human Feedback (RLHF)
Connected

cvičení

Příprava preference datasetu

V tomto cvičení budeš pracovat s datasetem, který obsahuje lidskou zpětnou vazbu ve formě „zvolených" (chosen) a „odmítnutých" (rejected) výstupů. Tvým úkolem je extrahovat prompty ze sloupce „chosen" a připravit data pro trénování reward modelu.

Funkce load_dataset z knihovny datasets je již naimportována.

Pokyny

100 XP
  • Načti dataset trl-internal-testing/hh-rlhf-helpful-base-trl-style z Hugging Face.
  • Napiš funkci, která extrahuje prompt z pole 'content' – předpokládej, že prompt se nachází na indexu 0 vstupu funkce.
  • Aplikuj funkci pro extrakci promptu na část datasetu 'chosen'.