Vytváříme iterátor pro načítání dat po částech (4)

V předchozích cvičeních jsi zpracovával/a data pouze z první části DataFrame. Tentokrát výsledky agregovány přes všechny části DataFrame v datasetu. Jinými slovy – zpracuješ teď celý dataset. Je to skvělé, protože si poradíš i s velkým souborem dat tím, že ho jednoduše zpracuješ po menších kouscích!

Budeš pracovat s daty ze souboru 'ind_pop_data.csv', který máš k dispozici v aktuálním adresáři. Balíčky pandas a matplotlib.pyplot jsou naimportovány jako pd a plt.

Toto cvičení je součástí kurzu

Python Toolbox

Zobrazit kurz

Pokyny k cvičení

Inicializuj prázdný DataFrame data pomocí pd.DataFrame().
V cyklu for iteruj přes urb_pop_reader, aby bylo možné zpracovat všechny části DataFrame v datasetu.
Zřetěz data a df_pop_ceb tak, že předáš seznam těchto DataFrames funkci pd.concat().

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Initialize reader object: urb_pop_reader
urb_pop_reader = pd.read_csv('ind_pop_data.csv', chunksize=1000)

# Initialize empty DataFrame: data
data = ____

# Iterate over each DataFrame chunk
for df_urb_pop in ____:

    # Check out specific country: df_pop_ceb
    df_pop_ceb = df_urb_pop[df_urb_pop['CountryCode'] == 'CEB']

    # Zip DataFrame columns of interest: pops
    pops = zip(df_pop_ceb['Total Population'],
                df_pop_ceb['Urban population (% of total)'])

    # Turn zip object into list: pops_list
    pops_list = list(pops)

    # Use list comprehension to create new DataFrame column 'Total Urban Population'
    df_pop_ceb['Total Urban Population'] = [int(tup[0] * tup[1] * 0.01) for tup in pops_list]
    
    # Concatenate DataFrame chunk to the end of data: data
    data = ____

# Plot urban population data
data.plot(kind='scatter', x='Year', y='Total Urban Population')
plt.show()

Upravit a spustit kód