1. Nauka
    2. /
  2. Kursy
    3. /
  3. Przetwarzanie danych w wierszu poleceń
Connected

ćwiczenie

Pobieranie danych za pomocą Wget i curl

Dobrą praktyką na początku projektu analizy danych jest zgromadzenie wszystkich danych w jednym miejscu. Często oznacza to pobieranie plików z różnych źródeł – serwerów HTTP czy baz danych.

Co prawda curl świetnie sprawdza się przy pobieraniu pojedynczego pliku, ale przy wielu plikach jednocześnie bywa mało wygodny. W tym ćwiczeniu podsumowującym użyjesz zarówno curl, jak i Wget, aby pobrać serię miesięcznych plików Spotify, wykonać podstawowe przetwarzanie i zebrać wszystkie pobrane pliki w lokalnym katalogu.

Instrukcje

100 XP
  • Pobierz skompresowany plik 201812SpotifyData zapisany pod skróconym (przekierowanym) adresem URL za pomocą curl. W tym samym kroku zmień nazwę pliku na Spotify201812.zip.
  • Rozpakuj Spotify201812.zip, usuń oryginalny skompresowany plik i zmień nazwę rozpakowanego pliku na Spotify201812.csv, aby zachować spójność.
  • Użyj pliku url_list.txt i narzędzia Wget, aby pobrać wszystkie 3 pliki: Spotify201809.csv, Spotify201810.csv i Spotify201811.csv w jednym kroku, z górnym limitem prędkości pobierania wynoszącym 2500 KB/s.