Создание коллекции из сохранённых текстов
На этот раз ваш коллега сохранил отзывы в текстовые файлы. Файлов несколько, и в каждом из них содержится несколько отзывов. Каждый отзыв занимает отдельную строку.
Вы хотите загрузить эти данные в Dask в ленивом режиме, чтобы использовать параллельную обработку и ускорить анализ.
dask.bag уже импортирован для вас как db.
Это упражнение является частью курса
Параллельное программирование с Dask на Python
Инструкции к упражнению
- С помощью функции
read_text()загрузите все файлы.txtиз директорииdata/tripadvisor_hotel_reviews. - Подсчитайте количество отзывов в коллекции.
- Выведите результат с помощью метода
.compute().
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Load in all the .txt files inside data/tripadvisor_hotel_reviews
review_bag = ____
# Count the number of reviews in the bag
review_count = review_bag.____
# Compute and print the answer
print(____)