プロンプトの抽出

hendrydong/rlhf_helpful_eval データセットを扱っています。これはユーザー（Human）とアシスタント（Assistant）の会話テキストを含みます。目的はテキストをクリーンアップし、不要なパターンやタグを含まない、関連部分だけのプロンプトを用意することです。

プロンプト抽出のためにデータセットをクリーンにする際、どの方法を選びますか。コンソールで次のコードを実行すると、データセットの一部を確認できます。

evaluation_data.iloc[range(1)]['text'][0]