Créer un bag à partir de texte enregistré
Cette fois, votre collègue a enregistré les évaluations dans des fichiers texte. Il y a plusieurs fichiers et plusieurs évaluations dans chaque fichier. Chaque évaluation se trouve sur une ligne distincte du fichier texte.
Vous voulez les charger dans Dask de façon paresseuse afin de pouvoir utiliser le traitement parallèle pour les analyser plus rapidement.
dask.bag a été importé pour vous sous le nom db.
Cette activité fait partie du cours
Programmation parallèle avec Dask en Python
Instructions de l’exercice
- Utilisez la fonction
read_text()pour charger tous les fichiers.txtdans le répertoiredata/tripadvisor_hotel_reviews. - Comptez le nombre d'évaluations dans le bag.
- Utilisez la méthode
.compute()du bag pour afficher la réponse.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Load in all the .txt files inside data/tripadvisor_hotel_reviews
review_bag = ____
# Count the number of reviews in the bag
review_count = review_bag.____
# Compute and print the answer
print(____)