IMHO.WS

IMHO.WS (http://www.imho.ws/index.php)
-   Обсуждение программ (http://www.imho.ws/forumdisplay.php?f=3)
-   -   Нужна программа для МАССОВОГО скачивания файлов (http://www.imho.ws/showthread.php?t=137167)

metrim 21.12.2008 15:48

Нужна программа для МАССОВОГО скачивания файлов
 
Нужна программа в которую можно загружать задания списками.
Что бы можно было забить неско десятков тысяч (или сотен тысяч) файлов в задание и оставить программу спокойно их скачивать.Ненужны никакие прибамбасы типа скачивание файла в несколько потоков.
Проблема в том, что старый-добрый, проверенный FlashGet начинает сильно тупить уже при списке в 20000 заданий. да и проц грузит
Так что нужна какая то программа попроще, но которая может работать с большими списками.

centrsoft 21.12.2008 18:07

А Download Master не пойдет? Я им закачивал несколько тысяч файлов - без проблем и достаточно шустро....
Но вообще то мне кажется что никакая из общедоступных программ не может быть рассчитана на скачивание 100000 файлов...:rolleyes: Тут может быть проще самому написать простую программу на например VisualBasic...

metrim 22.12.2008 01:23

Цитата:

Сообщение от centrsoft (Сообщение 1618342)
Тут может быть проще самому написать простую программу на например VisualBasic...

Дык понятно, что самописный скрипт заточенный специально для этой задачи - был бы оптимален: всякие украшательства прог-качалок (графическая оболочка в частости) вероятно жрут больше чем сам процесс скачивания.
Собственно мне нужна прога (или скрипт) работающая да хоть из командной строки, которой я смогу указать папку с txt-файлами, содержащими списки файлов для закачки.
И нужно что бы эта прога брала один файлик за другим и качала себе файло в 2-3 потока в отдельные папки соответствующие именам файлов. Т.к.времени это займет вероятно массу, нужно иметь возмлжность поставить программу на паузу

Есть на примете какая нить програмка умеющая все это под виндой?

Jac Obion 22.12.2008 16:21

Попробуй Wget.
Кратко здесь: ru.wikipedia.org/wiki/Wget

metrim 22.12.2008 17:59

Цитата:

Сообщение от Jac Obion (Сообщение 1618761)
Попробуй Wget.
Кратко здесь: ru.wikipedia.org/wiki/Wget

Да. Вот программа такого уровня мне и нужна.
Только она сама по себе - не поддерживает скачку по списку.
Конечно её наверное можно дополнить батником, разбирающим построчно файлы со списком на урлы и запускающим Wget для каждого файла отдельно, однао боюсь как бы некорректно (на себя грешу) написанный батник не вызвал еще больших нагрузок на проц, далее не понятно как запустить заачку нескольких файлов одновременно (разве что несколько экземпляров запущеных батников) ну и совершенно не понятно как в таком случае ставить весь этот "агрегат" на паузу, с возможностью затем продолжить с точки остановки (разве что тереть в файлах закачанные урлы)

Может быть уже есть готовое решение, что бы не пришлось мутить с батником кормящим Wget ссылками?

metrim 22.12.2008 21:56

Что то не разобрался вообще как этот Wget примонтировать :(
Не линуксоид я
поможите нубу шо да как почитать, что бы знать как сделать :beer:

Alex Dark 22.12.2008 22:58

Она давно под виндой работает
и даже по русски
пройдись по данной тебе ссылке до конца

metrim 22.12.2008 23:22

Цитата:

Сообщение от Alex Dark (Сообщение 1618909)
Она давно под виндой работает
и даже по русски
пройдись по данной тебе ссылке до конца

Дык прошелся я по ссылке в конце статьи. Скачал 6 разных GUI для Wget под Windows Попробовал их.
Ничего не происходит.
Запустил в частности WGet_Daemon_1.0r_russian\. Появилась иконека в трее. По щелчку по ней - выдается диалоговое окно. Там я пробую и URL скормить и файл со списком ссылок. Все заполняю, нажимаю Старт и ... нихрена.
Нихрена не происходит. Файлы не скачиваются в указанную папку, лог (туда же не записывается). Короче - не понимаю как заставить её работать

Система у меня WinXP SP3 samBuild на всякий случай ...

Cartman 23.12.2008 09:41

metrim, попробуй Reget (reget.com). Пользуюсь очень давно, в свое время купил себе delux версию и в принципе доволен.
Не тормозит при большом списке и скачивании, в отличии от последних версий Flashget. Единственный минус - долго загружается, если в заданиях большой список.

Zmey 24.12.2008 19:02

из командной строки wget -i имя_файла
посмотри хелп к wget-у. Там все просто.

Jac Obion 24.12.2008 21:14

Цитата:

Сообщение от Cartman (Сообщение 1618993)
metrim, попробуй Reget (reget.com). Пользуюсь очень давно, в свое время купил себе delux версию и в принципе доволен.
Не тормозит при большом списке и скачивании, в отличии от последних версий Flashget. Единственный минус - долго загружается, если в заданиях большой список.

Работаю с Reget много лет и очень его уважаю.
Но вот длинные очереди (800-1000 и больше) для него проблема, по крайней мере в прежних версиях. Проблема выявляется при при попытке отображения очереди на экране. Пока сидит в трее, все в порядке, а пытаешся раскрыть - начинаются чудеса.
Может пофиксили.

Насчет передать wget список, так конструкции типа
wget <urllist.txt
всегда работали.


Часовой пояс GMT +4, время: 19:53.

Powered by vBulletin® Version 3.8.5
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.