用語リストを使う
1つの用語だけで検索したくないことはよくあります。たとえば、不正の可能性があるクライアントや取引をフラグ付けできる用語を集めた、完全な「不正辞書（fraud dictionary）」を作ることもできるでしょう。実務の不正アナリストは、そうした辞書に何を入れるべきかの勘所を持っています。この演習では、まず複数の用語にフラグを立て、次の演習でそれをまとめた新しいフラグ変数を作成します。このフラグは、Machine Learning モデルの特徴量として直接使うことも、モデルの結果に対する追加のフィルターとして使うこともできます。まずは用語のリストを使ってデータを絞り込みましょう。クリーンアップ済みのメールを含むデータフレームは引き続き df として利用できます。
この演習はコースの一部です
Pythonで学ぶ不正検知
演習の手順
- 'enron stock'、'sell stock'、'stock bonus'、'sell enron stock' を含む検索用リストを作成します。
- 検索条件内の文字列用語を結合します。
searchforに定義したリストに一致するメールでデータをフィルタリングします。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create a list of terms to search for
searchfor = ['____', '____', '____', '____']
# Filter cleaned emails on searchfor list and select from df
filtered_emails = df.____[____['_____'].____._____('|'.join(____), na=False)]
print(filtered_emails)