1. Learn
    2. /
  2. Courses
    3. /
  3. Llama 3 미세 조정(Fine-Tuning)
Connected

Exercise

평가용 데이터셋 필터링

여러분은 병원이 신규 환자를 안내할 때 사용하는 회사의 헬스케어 챗봇을 위한 학습 및 평가 파이프라인을 구축하고 있어요.

여러분의 과제는 MedQuad-MedicalQnADataset을 불러와, 의료 관련 질문에 답하는 LLM의 성능을 평가하는 파이프라인을 만드는 것입니다. 데이터셋을 ds 변수에 로드하고, dataset_name에 저장된 데이터셋의 train 분할 중 처음 500개 샘플만 평가 세트로 포함하세요.

Instructions

100 XP
  • datasets에서 필요한 함수와 클래스를 가져오세요.
  • 데이터셋을 ds 변수에 로드하세요.
  • dataset_name에 저장된 데이터셋의 train 분할에서 처음 500개 샘플만 포함하도록 ds를 조작해 평가 세트를 만드세요.