Витягування інформації з великих обсягів даних Twitter

Чудово впоралися з поділом файла на частини у попередній вправі. Тепер ви знаєте, як працювати з дуже великими файлами — це справді корисна навичка!

Корисно вміти опрацьовувати файл невеликими, зручними для керування частинами, але щоразу писати й переписувати один і той самий код для однакового завдання швидко набридає. У цій вправі ви зробите свій код більш придатним до повторного використання, винісши напрацювання з попередньої вправи у визначення функції.

Пакет pandas імпортовано як pd, а файл 'tweets.csv' є у вашому поточному каталозі.

Ця вправа є частиною курсу

Набір інструментів Python

Переглянути курс

Інструкції до вправи

Визначте функцію count_entries() з 3 параметрами. Перший параметр — csv_file для назви файла, другий — c_size для розміру шматка, і третій — colname для назви стовпця.
Ітеруйтеся за файлом у csv_file, використавши цикл for. Використайте змінну циклу chunk та ітеруйтеся за викликом pd.read_csv(), передавши c_size до chunksize.
У внутрішньому циклі ітеруйтеся за стовпцем, заданим у colname, у chunk, використовуючи цикл for. Використайте змінну циклу entry.
Викличте функцію count_entries(), передавши їй назву файла 'tweets.csv', розмір шматків 10 і назву стовпця для підрахунку 'lang'. Присвойте результат виклику змінній result_counts.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Define count_entries()
def ____():
    """Return a dictionary with counts of
    occurrences as value for each key."""
    
    # Initialize an empty dictionary: counts_dict
    counts_dict = {}

    # Iterate over the file chunk by chunk
    for ____ in ____:

        # Iterate over the column in DataFrame
        for ____ in ____:
            if entry in counts_dict.keys():
                counts_dict[entry] += 1
            else:
                counts_dict[entry] = 1

    # Return counts_dict
    return counts_dict

# Call count_entries(): result_counts
result_counts = ____

# Print result_counts
print(result_counts)

Редагувати та запускати код