1. 学ぶ
  2. /
  3. コース
  4. /
  5. Hugging Face で学ぶマルチモーダルモデル

Connected

演習

カスタムデータセットでのモデル評価

この演習では、Hugging Face の evaluate パッケージにある evaluator を使って、事前学習済みモデルをカスタムデータセット上で評価します。クラス不均衡のある多クラス分類では、accuracy は信頼できる指標ではありません。そのため、evaluator が同時に複数の指標を算出できる点を活かして、precision と recall を用います。

データセット(dataset)とパイプライン(pipe)はあらかじめ定義されています。evaluate ライブラリと evaluator クラスもすでにインポート済みです。

指示

100 XP
  • "image-classification" タスク用の evaluator をインスタンス化します。
  • パイプラインから整数→文字列のラベルマッピングを抽出します。
  • metrics_dict と label_map に保存された指標を使って、データセット(dataset)とパイプライン(pipe)を評価します。