1. Nauka
    2. /
  2. Kursy
    3. /
  3. Sprawne importowanie danych z pandas
Connected

ćwiczenie

Importowanie pliku we fragmentach

Podczas pracy z dużymi plikami wygodniej jest wczytywać i przetwarzać dane w częściach. Przećwiczmy ten sposób pracy na danych podatkowych z Vermont.

Pierwsze 500 wierszy zostało już wczytane jako vt_data_first500. Teraz pobierzesz kolejne 500 wierszy. W tym celu skorzystasz z kilku argumentów kluczowych: nrows i skiprows, aby wybrać odpowiednie rekordy, header, aby poinformować pandas, że dane nie mają nazw kolumn, oraz names, aby uzupełnić brakujące nazwy kolumn. Przyda ci się też funkcja list(), która pozwoli pobrać nazwy kolumn z vt_data_first500 do ponownego użycia.

Biblioteka pandas została zaimportowana jako pd.

Instrukcje

100 XP
  • Użyj argumentów nrows i skiprows, aby utworzyć ramkę danych vt_data_next500 zawierającą kolejne 500 wierszy.
  • Ustaw argument header tak, aby pandas wiedział, że dane nie zawierają wiersza nagłówka.
  • Nadaj kolumnom w vt_data_next500 nazwy, przekazując listę kolumn z vt_data_first500 do argumentu names.