1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorch による効率的な AI モデルトレーニング
Connected

演習

前処理済みテキストの状態の保存と読み込み

農業に関するよくある問題を農家が手軽に調べられるよう、農業に関する質問と回答のデータセットの前処理が完了しました。作業の進捗を保存するために、前処理済みテキストデータのチェックポイントを作成して読み込むことにします。

以下のデータはあらかじめ読み込まれています。

  • dataloader：農業に関する質問と回答の前処理済みデータセット
  • Accelerator：accelerate からインポート済み

指示

100 XP
  • checkpoint_dir に前処理済みデータのチェックポイントを保存してください。
  • checkpoint_dir からチェックポイントを読み込んでください。