1. Learn
    2. /
  2. Courses
    3. /
  3. Опрацювання даних у Shell
Connected

Exercise

Завантаження даних за допомогою Wget і curl

Щоб розпочати проєкт аналізу даних, варто спершу зібрати всі дані в одному місці. Часто це означає завантаження даних із різних джерел, зокрема HTTP-серверів і баз даних.

Хоча curl зручний для завантаження одного файла, для пакетних завантажень він не надто зручний. У цій підсумковій вправі ви скористаєтеся і curl, і Wget, щоб завантажити низку щомісячних файлів Spotify, виконати невелику обробку та зібрати всі завантажені файли в нашій локальній теці.

Instructions

100 XP
  • Завантажте заархівовані дані 201812SpotifyData, що збережені за скороченою (переспрямованою) URL-адресою, за допомогою curl. У цьому ж кроці перейменуйте файл на Spotify201812.zip.
  • Розпакуйте Spotify201812.zip, видаліть початковий архів і перейменуйте розпакований файл на Spotify201812.csv для узгодженості.
  • Використайте url_list.txt і Wget, щоб за один крок завантажити всі 3 файли: Spotify201809.csv, Spotify201810.csv і Spotify201811.csv, обмеживши максимальну швидкість завантаження до 2500KB/s.