WGET - скачиватель сайтов

Создан:   30.03.2004
Изменён: 07.10.2015
Иванов Аркадий
 
  • Программа WGET позволяет скачивать и докачивать как отдельные файлы, каталоги, так и целые WEB-сайты. Поддерживает протоколы ftp и http.
  • Работа с ней производится из командной строки.
  • WGET распростаняется на условиях GPL.
  • Содержится во всех дистрибутивах Linux.
  • Документация:
man wget 
info wget 

       

Большим удобством wget является то, что программа может работать в фоне и если выйдете из системы при работающей wget, программа продолжит свою работу и протоколы будут не на экране, а в файле. 

   

Простые примеры использования:


Скачивание файла по протоколу http:  

wget -T 600 -c --limit-rate=20k http://office.qkaka.com/win32/oo641b/oo641_win32intel_russian.zip

 

-T 600 означает таймаут на проблемы соединения 600 секунд. 
-c     означает делать докачку, если часть файла уже была скачана до обрыва соединения. 
--limit-rate=20k - не превышать скорость скачивания 20Kbytes/sec, чтобы не занять весь Internet-канал


Скачивание файла по протоколу ftp:  

wget -T 600 -c --bind=85.28.1.1 ftp://ftp.mozilla.ru/pub/mozilla/i10n/mozilla-0.9.9-win32-ruRU-installer-ALT_RC.exe

  --bind=85.28.1.1 - использовать интерфейс 85.28.1.1


Скачивание WEB-каталога:

wget -m -np http://mplayerhq.hu/DOCS

  -m - режим зеркала, включает скачивание подкаталогов, проверку дат создания файлов. 
  -np - не подниматься в родительские каталоги по ссылкам. Иначе есть шанс скачать весь WEB-сайт.

 

Скачивание через прокси:

Если необходимо использовать прокси-сервер, то правьте строчки в /etc/wgetrc , например:

http_proxy = http://192.168.1.1:3128
ftp_proxy = http://192.168.1.1:3128
use_proxy = on

Или можно указать переменные в командной строке shell:

http_proxy=http://192.168.1.1:3128; https_proxy=http://192.168.1.1:3128; wget ...t

 

Скачивание по списку из файла:

wget -i list.txt

В файле list.txt указываю список URL (по одному в каждой строке), чего надо скачать.