Collaborative filtering はレコメンダーシステムの手法で、ユーザーがさまざまなプロダクトに付けた評価や行動履歴を基に新しい項目を推奨します。Machine Learning とデータの並列処理の発展により、レコメンダーシステムはここ数年で広く普及し、映画、音楽、ニュース、書籍、研究論文、検索クエリ、ソーシャルタグなど幅広い分野で利用されています。この3部構成の演習では、PySpark MLlib を使って MovieLens 100k dataset のサブセットを用い、シンプルな映画レコメンドシステムを開発することが目標です。

最初のパートでは、まず MovieLens のデータ（ratings.csv）を RDD に読み込みます。RDD の各行は userId,movieId,rating,timestamp の形式なので、timestamp 列を取り除き、MovieLens のデータを Ratings オブジェクト（userID, productID, rating）にマップします。最後に、RDD を学習用とテスト用の RDD に分割します。

ワークスペースには SparkContext sc が用意されています。ratings.csv へのパスである file_path 変数、および ALS 用のクラス（すなわち Rating）もすでに利用可能です。

PySpark ML ライブラリ

PySparkで学ぶBig Data入門

実践的なインタラクティブ演習