Создание генератора для загрузки данных по частям (3)
Отлично! Вы только что создали функцию-генератор, которая поможет вам обрабатывать большие файлы.
Теперь используем эту функцию для работы с набором данных Всемирного банка — так же, как вы делали это ранее. Вы будете обрабатывать файл построчно, чтобы создать словарь с подсчётом количества появлений каждой страны в определённом столбце. Но на этот раз вы будете обрабатывать не 1000 строк, а весь набор данных целиком!
Функция-генератор read_large_file() и CSV-файл 'world_dev_ind.csv' уже загружены и готовы к использованию. Вперёд!
Это упражнение является частью курса
Инструментарий Python
Инструкции к упражнению
- Свяжите файл
'world_dev_ind.csv'с переменнойfileв контекстном менеджере с помощьюopen(). - Завершите цикл
forтак, чтобы он итерировал по генератору, возвращаемому вызовомread_large_file(), и обрабатывал все строки файла.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Initialize an empty dictionary: counts_dict
counts_dict = {}
# Open a connection to the file
with ____ as ____:
# Iterate over the generator from read_large_file()
for line in ____:
row = line.split(',')
first_col = row[0]
if first_col in counts_dict.keys():
counts_dict[first_col] += 1
else:
counts_dict[first_col] = 1
# Print
print(counts_dict)