CV のファインチューニング:Trainer の設定
データセットを用意し、事前学習モデルを新しいクラスに合わせて調整できたので、次は Trainer を設定します。
TrainingArguments と Trainer は transformers ライブラリから読み込まれています。モデル(model)とデータセット(dataset)は、前の手順で設定したものが読み込まれています。
この演習はコースの一部です
Hugging Face で学ぶマルチモーダルモデル
演習の手順
- 学習率を
6e-5に調整します。 Trainerインスタンスにモデル、学習データ、テストデータを指定します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
training_args = TrainingArguments(
output_dir="dataset_finetune",
# Adjust the learning rate
____,
gradient_accumulation_steps=4,
num_train_epochs=3,
push_to_hub=False
)
trainer = Trainer(
# Provide the model and datasets
model=____,
args=training_args,
data_collator=data_collator,
train_dataset=____,
eval_dataset=____,
processing_class=image_processor,
compute_metrics=compute_metrics,
)