前処理済みテキストの状態の保存と読み込み
農業に関するよくある問題を農家が手軽に調べられるよう、農業に関する質問と回答のデータセットの前処理が完了しました。作業の進捗を保存するために、前処理済みテキストデータのチェックポイントを作成して読み込むことにします。
以下のデータはあらかじめ読み込まれています。
dataloader：農業に関する質問と回答の前処理済みデータセットAccelerator：accelerateからインポート済み
この演習はコースの一部です
PyTorch による効率的な AI モデルトレーニング
演習の手順
checkpoint_dirに前処理済みデータのチェックポイントを保存してください。checkpoint_dirからチェックポイントを読み込んでください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)