Si vous téléchargez de gros fichiers à votre bureau avec une connexion que vous partagez avec des collègues qui n'aiment pas voir leur streaming ralenti, vous devriez songer à démarrer vos transferts hors des heures d'affluence. Vous n'avez pas à rester au bureau après vos heures, et vous n'avez pas non plus à vous souvenir de vous connecter à distance après diner.Employez un ordonnanceur de tâches:

    bash$ at 2300
    warning: commands will be executed using /bin/sh
    at> wget http://place.your.url/here
    at> press Ctrl-D 

Ici, nous demandons à commencer à télécharger à 23.00. Assurez-vous que le démon atd s'exécute en tâche de fond pour que cela fonctionne.

Téléchargement à la journée

Quand il y a beaucoup de données à télécharger depuis un ou plusieurs fichiers et que votre bande passante est comparable au protocole du pigeon voyageur, vous découvrirez que le téléchargement que vous avez programmé n'est pas encore fini à votre arrivée au bureau le matin. Étant un bon voisin, vous arrêtez la tâche et programmez une autre tâche, cette fois-ci avec "wget -c", répétant ceci selon les besoins autant de jours que nécessaire. IL est préférable de rendre ceci automatique avec un crontab. Créez un fichier texte, nommé "crontab.txt", contenant quelque chose de la sorte:

0 23 * * 1-5    wget -c -N http://place.your.url/here
0  6 * * 1-5    killall wget

Votre fichier crontab indiquera la tâche à exécuter à des intervalles périodiques. Les cinq premières colonnes indiquent quand exécuter la commande et le reste de chaque ligne ce qu'il faut exécuter. Les deux premières colonnes indiquent l'heure du jour -- 0 minutes après 23h pour démarrer wget, 0 minutes après 6h pour l'arrêter. Le * dans la 3ème et 4ème colonnes indiquent que ces actions arrivent chaque jour de chaque mois. La 5ème colonne indique quels jours de la semaine programmer chaque opération -- "1-5" veut dire de lundi à vendredi.

Ainsi chaque jour de la semaine à 23h, le téléchargement commencera pour finir à 6h du matin. Pour activer cette tâche, saisissez la commande suivante:
bash$ crontab crontab.txt
L'option "-N" de wget examinera le timestamp du fichier cible et cessera de télécharger si les deux concordent, ce qui est une indication selon laquelle le fichier entier a été transféré. Ainsi vous pouvez le mettre en place et l'oublier ensuite. "crontab -r" supprimera la tâche. J'ai téléchargé nombre d'images ISO avec des connections téléphoniques en utilisant cette méthode.

Pages web dynamiques

Quelques pages web sont générées à la demande car elles changent fréquemment parfois plusieurs fois par jour. Puisque la cible n'est pas techniquement un fichier, il n'y a pas de longueur de fichier et reprendre un téléchargement devient impossible -- l'option "-c" ne fonctionnera pas. Exemple: une page générée en PHP de Linux Weekend News:

bash$ wget http://lwn.net/bigpage.php3

Si vous stoppez le téléchargement est essayez de le reprendre, il repart au-delà du scratch. La connexion de mon bureau est certaines fois tellement faible que j'ai écrit un petit script pour détecter quand une page dynamique en HTML est chargée complètement:

#!/bin/bash

#create it if absent
touch bigpage.php3

#check if we got the whole thing
while ! grep -qi '' bigpage.php3
do
  rm -f bigpage.php3

  #download LWN in one big page
  wget http://lwn.net/bigpage.php3

done

Le script bash ci-dessus essaie de télécharger le document jusqu'à ce que la chaîne "" soit trouvée, ce qui délimite la fin du fichier

SSL et cookies

Les URL commençant par "https://" délivrent des fichiers distants à travers SSL. Vous trouverez un autre utilitaire de téléchargement, nommé curl, pour faire face à ces situations.

Certains sites web envoient de leur propre gré des cookies au navigateur avant de délivrer le contenu demandé. On doit ajouter un en-tête "Cookie:" avec l'information correcte, ce qui peut être obtenu depuis le fichier de cookie de votre navigateur web. Pour des formats de cookie adréssé à lynx et Mozilla :

bash$ cookie=$( grep nytimes ~/.lynx_cookies |awk '{printf("%s=%s;",$6,$7)}' )

construira le cookie demandé pour télécharger des données depuis http://www.nytimes.com, en supposant que vous êtes déjà enregistré sur le site avec ce navigateur. w3m emploie un format de cookie légèrement différent:

bash$ cookie=$( grep nytimes ~/.w3m/cookie |awk '{printf("%s=%s;",$2,$3)}' )

Le téléchargement peut à présent être effectué ainsi:

  bash$ wget --header="Cookie: $cookie" http://www.nytimes.com/reuters/technology/tech-tech-supercomput.html

ou en utilisant l'outil curl:

  bash$ curl -v -b $cookie -o supercomp.html http://www.nytimes.com/reuters/technology/tech-tech-supercomput.html

Liste d'url

Jusqu'ici nous avons simplement télécharger des fichiers uniques ou des miroirs de sites entiers. Quelquefois, il est intéressant de télécharger un grand nombre de fichiers dont les URL sont fournis par une page web page mais qui ne sont pas destinés à être un miroir à grande échelle d'un site entier. Par exemple, on voudrait télécharger les 20 meilleurs fichiers musicaux d'un site qui affiche les 100 meilleurs fichiers dans l'ordre. Ici les options "--accept" et "--reject" ne marcheront pas puisqu'ils opèrent seulement sur les extensions des fichiers. Plutôt, utilisez "lynx -dump".

bash$ lynx -dump ftp://ftp.ssc.com/pub/lg/ |grep 'gz$' |tail -10 |awk '{print $2}' > urllist.txt

La sortie de lynx peut ensuite être filtrée en employant les nombreux utilitaires de traitement de texte GNU. Dans l'exemple ci-dessus, on extrait les URL se terminant par "gz" et on stocke les 10 dernières dans un fichier. Une petite commande de script bash téléchargera automatiquement les URL listées dans ce fichier:

    bash$ for x in $(cat urllist.txt)
     do
     wget $x
     done

Nous avons réussi à télécharger les 10 derniers numéros de la Linux Gazette.

Jongler avec la bande passante

Si vous êtes parmi les peu nombreux à bénéficier d'une large bande passante mais que vos téléchargements sont ralentis seulement par des goulots à l'extrémité du serveur web, cette astuce peut vous aider à améliorer le transfert de vos fichiers. Cela demande l'utilisation de curl et de quelques sites miroirs où résident des copies identiques du fichier cible. Par exemple, supposons que vous souhaitez télécharger la Mandriva 2008 depuis les trois url suivantes:

url1=http://ftp.eecs.umich.edu/pub/linux/mandrake/iso/Mandrake2008.iso
url2=http://ftp.rpmfind.net/linux/Mandrake/iso/Mandrake2008.iso
url3=http://ftp.wayne.edu/linux/mandrake/iso/Mandrake2008.iso

La longueur du fichier est de 677281792, donc nous démarrons trois téléchargements simultanés avec l'option de curl "--range" :

bash$ curl -r 0-199999999 -o mdk-iso.part1 $url1 &
bash$ curl -r 200000000-399999999 -o mdk-iso.part2 $url2 &
bash$ curl -r 400000000- -o mdk-iso.part3 $url3 &

Cela créera trois processus de téléchargement en tâche de fond, chacun transférant une partie distincte de l'image ISO depuis un serveur différent. L'option "-r" indique une rangée de bits à extraire depuis le fichier cible. Quand il est complété, concaténez simplement les trois parties -- cat mdk-iso.part? > mdk-2008.iso. (Vérifiez le hash md5 avant de graver le CD-R est chaudement recommandé.) Lancez chaque curl dans sa propre fenêtre en utilisant l'option "--verbose" permet de surveiller la progression de chaque transfert.

Conclusion

N'ayez pas peur d'employer des méthodes non-interactive utilisée pour effectuer vos transferts de fichiers distants. Peu importe comment les webmasters peuvent vous contraindre à naviguer interactivement sur leurs sites, il existera toujours des outils libres pour aider à automatiser la tâche, et de ce fait enrichir notre expérience virtuelle.

Sources de l'article