Créer un temps d'attente avec Wget
Pour les petits fichiers, imposer un temps d'attente obligatoire entre les téléchargements évite de surcharger le serveur avec trop de requêtes. Ici, nous utiliserons l'indicateur d'option intégré de wget pour définir un délai obligatoire (en secondes) entre chaque téléchargement de fichier figurant dans la liste d'URL.
Cette activité fait partie du cours
Traitement des données en Shell
Instructions de l’exercice
- Créez une pause obligatoire d'1 seconde entre le téléchargement de tous les fichiers dans
url_list.txt.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# View url_list.txt to verify content
cat url_list.txt
# Create a mandatory 1 second pause between downloading all files in url_list.txt
wget ___ -i url_list.txt
# Take a look at all files downloaded
ls