НачатьНачать бесплатно

Создание генератора для загрузки данных по частям (3)

Отлично! Вы только что создали функцию-генератор, которая поможет вам обрабатывать большие файлы.

Теперь используем эту функцию для работы с набором данных Всемирного банка — так же, как вы делали это ранее. Вы будете обрабатывать файл построчно, чтобы создать словарь с подсчётом количества появлений каждой страны в определённом столбце. Но на этот раз вы будете обрабатывать не 1000 строк, а весь набор данных целиком!

Функция-генератор read_large_file() и CSV-файл 'world_dev_ind.csv' уже загружены и готовы к использованию. Вперёд!

Это упражнение является частью курса

Инструментарий Python

Посмотреть курс

Инструкции к упражнению

  • Свяжите файл 'world_dev_ind.csv' с переменной file в контекстном менеджере с помощью open().
  • Завершите цикл for так, чтобы он итерировал по генератору, возвращаемому вызовом read_large_file(), и обрабатывал все строки файла.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Initialize an empty dictionary: counts_dict
counts_dict = {}

# Open a connection to the file
with ____ as ____:

    # Iterate over the generator from read_large_file()
    for line in ____:

        row = line.split(',')
        first_col = row[0]

        if first_col in counts_dict.keys():
            counts_dict[first_col] += 1
        else:
            counts_dict[first_col] = 1

# Print            
print(counts_dict)
Редактировать и запускать код