1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Fine-Tuning s Llama 3
Connected

cvičení

Filtrování datasetů pro vyhodnocení

Buduješ pipeline pro trénování a vyhodnocování chatbota pro zdravotnictví, kterého nemocnice využívají při registraci nových pacientů.

Tvým úkolem je vytvořit pipeline pro načtení datasetu MedQuad-MedicalQnADataset, pomocí nějž budeš hodnotit schopnost LLM odpovídat na lékařské otázky. Načti dataset do proměnné ds a jako evaluační sadu zahrň pouze prvních 500 vzorků ze split části train datasetu uloženého v dataset_name.

Pokyny

100 XP
  • Importuj potřebné funkce a třídy z knihovny datasets.
  • Načti dataset do proměnné ds.
  • Uprav ds tak, aby obsahoval pouze prvních 500 vzorků ze split části train datasetu uloženého v dataset_name, a použij je jako evaluační sadu.