使用 Wget 設定等待時間
下載較小的檔案時,強制在每次下載之間加入等待時間,可以避免以過多請求壓垮伺服器。這裡你會使用 wget 內建的選項旗標,為 URL 清單檔中的每個檔案下載之間加入強制等待時間(秒)。
本練習屬於課程
在 Shell 中進行資料處理
練習說明
- 在下載
url_list.txt中所有檔案時,加入強制 1 秒的暫停。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# View url_list.txt to verify content
cat url_list.txt
# Create a mandatory 1 second pause between downloading all files in url_list.txt
wget ___ -i url_list.txt
# Take a look at all files downloaded
ls