BaşlayınÜcretsiz başlayın

Tercih veri kümesini hazırlama

Bu egzersizde, "chosen" ve "rejected" çıktıları biçiminde insan geri bildirimi içeren bir veri kümesiyle çalışacaksın. Görevin, "chosen" sütunundan istemleri (prompts) çıkarmak ve bir ödül modeli eğitimi için veriyi hazırlamak.

datasets içindeki load_dataset fonksiyonu önceden içe aktarıldı

Bu egzersiz, kursun bir parçasıdır

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Kursa Göz Atın

Egzersiz talimatları

  • Hugging Face'ten qgallouedec/hh-rlhf-helpful-base-trl-style veri kümesini yükle.
  • content alanından istemi çıkaran bir fonksiyon yaz; bu fonksiyonun girdisinde istemin 0 indeksinde bulunduğunu varsay.
  • İstemi çıkaran bu fonksiyonu 'chosen' veri kümesi alt kümesine uygula.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Load the dataset
preference_data = ____

# Define a function to extract the prompt
def extract_prompt(text):
    ____
    return prompt

# Apply the function to the dataset 
preference_data_with_prompt = ____(
    lambda sample: {**sample, 'prompt': ____(sample['chosen'])}
)

sample = preference_data_with_prompt.select(range(1))
print(sample['prompt'])
Kodu Düzenle ve Çalıştır