1. 학습
    2. /
  2. 강의
    3. /
  3. Hugging Face로 배우는 멀티모달 모델
Connected

연습 문제

사용자 정의 데이터셋에서 모델 평가

이 연습 문제에서는 Hugging Face의 evaluate 패키지에서 제공하는 evaluator를 사용해 사전 학습된 모델의 성능을 사용자 정의 데이터셋에서 평가해 볼 거예요. 다중 클래스 분류에서 데이터셋의 불균형이 있는 경우, accuracy만으로는 신뢰할 수 있는 성능 지표가 되지 않아요. 따라서 evaluator가 한 번에 여러 측정을 제공하는 기능을 활용해 precision과 recall을 사용하겠습니다.

데이터셋(dataset)과 파이프라인(pipe)은 미리 정의되어 있어요. evaluate 라이브러리와 evaluator 클래스도 이미 임포트되어 있어요.

지침

100 XP
  • "image-classification" 작업을 위한 evaluator 인스턴스를 생성하세요.
  • 파이프라인에서 정수→문자열 레이블 매핑을 추출하세요.
  • metrics_dict와 label_map에 저장된 지표를 사용해 데이터셋(dataset)과 파이프라인(pipe)을 평가하세요.