使用 Wget 设置等待时间
下载较小文件时,在每次下载之间强制加入等待时间,可以避免向服务器发送过多请求而造成压力。这里我们将使用 wget 的内置选项标志,为位于 URL 列表文件中的每个文件下载之间设置强制等待时间(单位:秒)。
本练习是课程的一部分
Shell 中的数据处理
练习说明
- 在下载
url_list.txt中的所有文件时,设置强制的 1 秒暂停。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# View url_list.txt to verify content
cat url_list.txt
# Create a mandatory 1 second pause between downloading all files in url_list.txt
wget ___ -i url_list.txt
# Take a look at all files downloaded
ls