保存されたテキストからbagを作成する
今回は、同僚がレビューをテキストファイルに保存しました。ファイルは複数あり、各ファイルにも複数のレビューが含まれています。各レビューはテキストファイルの1行に対応しています。
これらをDaskで遅延読み込みし、並列処理を使ってより速く分析したいと考えています。
dask.bag は db としてインポート済みです。
この演習はコースの一部です
Pythonで学ぶDaskによる並列プログラミング
演習の手順
read_text()関数を使って、ディレクトリdata/tripadvisor_hotel_reviews内のすべての.txtファイルを読み込みます。- bag に含まれるレビュー数を数えます。
- bag の
.compute()メソッドを使って答えを出力します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Load in all the .txt files inside data/tripadvisor_hotel_reviews
review_bag = ____
# Count the number of reviews in the bag
review_count = review_bag.____
# Compute and print the answer
print(____)