Extrakce informací z velkého množství dat z Twitteru

Skvělá práce s rozdělením souboru na chunky v předchozím cvičení! Teď už víš, jak si poradit se situacemi, kdy potřebuješ zpracovat velmi velký soubor – a to je opravdu užitečná dovednost!

Je skvělé umět zpracovat soubor po menších, lépe zvládnutelných částech, ale znovu a znovu psát stejný kód pro stejnou úlohu může být dost únavné. V tomto cvičení svůj kód zefektivníš tak, aby byl znovupoužitelný – zapouzdříš ho z předchozího cvičení do definice funkce.

Balíček pandas je importován jako pd a soubor 'tweets.csv' je k dispozici v tvém aktuálním pracovním adresáři.

Toto cvičení je součástí kurzu

Python Toolbox

Zobrazit kurz

Pokyny k cvičení

Definuj funkci count_entries() se 3 parametry. První parametr je csv_file pro název souboru, druhý je c_size pro velikost chunku a třetí je colname pro název sloupce.
Iteruj přes soubor csv_file pomocí cyklu for. Jako proměnnou cyklu použij chunk a iteruj přes volání funkce pd.read_csv(), přičemž předej c_size jako hodnotu chunksize.
Ve vnitřním cyklu iteruj pomocí cyklu for přes sloupec daný proměnnou colname v objektu chunk. Jako proměnnou cyklu použij entry.
Zavolej funkci count_entries() a předej jí název souboru 'tweets.csv', velikost chunku 10 a název sloupce 'lang'. Výsledek volání přiřaď do proměnné result_counts.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Define count_entries()
def ____():
    """Return a dictionary with counts of
    occurrences as value for each key."""
    
    # Initialize an empty dictionary: counts_dict
    counts_dict = {}

    # Iterate over the file chunk by chunk
    for ____ in ____:

        # Iterate over the column in DataFrame
        for ____ in ____:
            if entry in counts_dict.keys():
                counts_dict[entry] += 1
            else:
                counts_dict[entry] = 1

    # Return counts_dict
    return counts_dict

# Call count_entries(): result_counts
result_counts = ____

# Print result_counts
print(result_counts)

Upravit a spustit kód