Wget ve curl ile veri indirme
Bir veri analizi projesine başlarken, önce tüm verileri tek bir yerde toplamak iyi bir pratiktir. Çoğu zaman bu, HTTP sunucuları ve veritabanları gibi farklı konumlardan veri indirme ve çekme anlamına gelir.
curl tek bir dosya indirmede kullanışlı olsa da, birden fazla dosyayı yönetmek için çok pratik değildir. Bu bitirme egzersizinde hem curl hem de Wget kullanarak aylık Spotify dosyalarından bir seriyi indirecek, küçük işlemler yapacak ve indirilen tüm dosyaları yerel dizinimizde bir araya getireceğiz.
Bu egzersiz, kursun bir parçasıdır
Kabukta Veri İşleme
Egzersiz talimatları
- Kısaltılmış (yönlendirilmiş) URL'de kayıtlı olan
201812SpotifyDatasıkıştırılmış verisinicurlile indir. Aynı adımda dosyayıSpotify201812.zipolarak yeniden adlandır. Spotify201812.zipdosyasını aç, orijinal zip dosyasını sil ve tutarlılık için açılan dosyayıSpotify201812.csvolarak yeniden adlandır.url_list.txtveWgetkullanarak tek adımda şu 3 dosyayı indir:Spotify201809.csv,Spotify201810.csvveSpotify201811.csv. İndirme hızını üst sınır olarak 2500KB/s ile kısıtla.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Use curl, download and rename a single file from URL
___ ___ Spotify201812.zip ___ https://assets.datacamp.com/production/repositories/4180/datasets/eb1d6a36fa3039e4e00064797e1a1600d267b135/201812SpotifyData.zip
# Unzip, delete, then re-name to Spotify201812.csv
unzip Spotify201812.zip && rm Spotify201812.zip
mv 201812SpotifyData.csv ___.csv
# View url_list.txt to verify content
cat url_list.txt
# Use Wget, limit the download rate to 2500 KB/s, download all files in url_list.txt
wget ___=2500k -i url_list.txt
# Take a look at all files downloaded
ls