Czasami dane, które trzeba przetworzyć, są zbyt duże, by zmieścić je w pamięci komputera. To częsty problem, z którym mierzą się data scientists. Rozwiązaniem jest przetwarzanie danych partiami (ang. chunk by chunk), zamiast wczytywania ich wszystkich naraz.

W tym ćwiczeniu zrobisz dokładnie to. Przetworzysz duży plik CSV z danymi z Twittera – podobnie jak plik 'tweets.csv' w ćwiczeniach Bringing it all together z kursu poprzedzającego ten – tym razem jednak pracując na fragmentach po 10 wierszy.

Jeśli chcesz dowiedzieć się, jak samodzielnie pobierać dane z Twittera, zajrzyj do części 2 kursu DataCamp dotyczącego importowania danych w Pythonie.

Biblioteka pandas została zaimportowana jako pd, a plik 'tweets.csv' znajduje się w twoim bieżącym katalogu.

Pamiętaj, że są to prawdziwe dane z Twittera – istnieje więc ryzyko, że mogą zawierać wulgaryzmy lub inne treści nieodpowiednie (dotyczy to tego ćwiczenia oraz kolejnych ćwiczeń korzystających z rzeczywistych danych z Twittera).

Używanie iteratorów do wczytywania dużych plików do pamięci

Create Your Free Account