1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Data Processing in Shell
Connected

cvičení

Stahování dat pomocí Wget a curl

Při zahájení projektu datové analýzy je dobré nejprve shromáždit všechna data na jednom místě. To často znamená stahování dat z různých zdrojů, jako jsou HTTP servery nebo databáze.

Zatímco curl se hodí pro stažení jednoho souboru, práce s více soubory najednou je s ním trochu nepohodlná. V tomto závěrečném cvičení použijeme curl i Wget ke stažení série měsíčních Spotify souborů, provedeme základní zpracování a všechny stažené soubory uložíme do místního adresáře.

Pokyny

100 XP
  • Stáhni zazipovaná data 201812SpotifyData uložená pod zkrácenou (přesměrovanou) URL pomocí curl. Ve stejném kroku soubor přejmenuj na Spotify201812.zip.
  • Rozbal Spotify201812.zip, odstraň původní zazipovaný soubor a rozbalenou verzi přejmenuj na Spotify201812.csv, aby byl název konzistentní.
  • Pomocí url_list.txt a Wget stáhni všechny 3 soubory: Spotify201809.csv, Spotify201810.csv a Spotify201811.csv v jednom kroku, s maximální rychlostí stahování 2500 KB/s.