前処理済みデータセットの保存
カスタマーサポート用チャットボットのプロジェクトの一環として、Llama モデルのファインチューニング用データセットを準備しました。次のステップは、そのデータセットを保存し、後で前処理を繰り返さずに再読み込みできるようにすることです。これにより、チームは複数の実験やイテレーションにわたってデータセットを再利用できるようになります。
この演習はコースの一部です
Llama 3 のファインチューニング
演習の手順
- 前処理済みデータセット
dsをディスクに保存します。 - 保存したデータセットを新しい変数
ds_preprocessedに読み込みます。 ds_preprocessedの最初の要素を表示します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
from datasets import load_from_disk
# Save the dataset to disk
____
# Load the dataset from disk
ds_preprocessed = ____
# Print the first element of the loaded dataset
print(____)