ProxyGrab

[spleenJack]

Нуу, по названию понятно, для чего прога

Грабилка проксей с инетовских страничек.

Кому-то надо было (Anarchist ау! ). Решил попробовать сделать.

Это, в принципе, пока очень сырая рабочая копия (можно так сказать). Хотелось бы просто послушать ваши идеи - что, куда и как сделать лучше. Принимаются любые советы - от функциональности, до интерфейса.
Ну и естественно, если не трудно, рассказывайте про найденные ошибки, недочеты.

Прога работает пока в ручном режиме. Т. е. сначала пишем адреса, жмем Add. Дальше Download, ждем пока в колонке Progress везде будет написано Complete. Потом Parse. Когда кнопка Save включится - жмем на нее, выбираем имя файла. Воот. Потом сделаю автоматизацию.

Пока известно, что скачивание страничек иногда глючит - из-за многопоточности. Пытаюсь избавится.

Качаем, кому трафика не жалко
Скачать // 216 КБ // ::: _http://proxygrab.nm.ru/ProxyGrab.v0.1a.rar

ЗЫ: Модерам - если такого рода топики тут запрещены, прошу закрыть или удалить тему.

[Slanj]

Ща попробуем, программа должна быть полезной, только тему надо было в разделе авторский софт разместить.

[spleenJack]

Slanj
Ой черт! Уже спать хоцца - тыкнул не туда. Звиняйте - перенесите пожалуйста тему.

[spleenJack]

ProxyGrab 0.2a



Изменения:
-Можно ограничить максимальное кол-во потоков
-Появились настройки соединения через проксик
-Определение страны найденного проксика
-Подсчет кол-ва проксиков на странице
-Всякие иконки-красивости (типа нормального отображение процесса скачивания, парсинга итд) и вообще улучшение интерфейса

Планируется сделать в недалеком будущем:
-Изменение юзером возможностей парсинга
-Расширенные возможности парсинга (например, поиск таких записей, когда IP проксика стоит в одной колонке, а порт в другой)
-Поиск проксей в локальных файлах (типа как в Proxy List Filter - только бесплатно и без демо-лимитов %) )
-Сохранение/загрузка настроек в файл
-Сохранение/загрузка списка урлов в файл

Жду ваших пожеланий, предложений, описания найденных багов - выкладывайте все идеи и все что вы хотите увидеть в проге (в разумных пределах) сюда.

Скачать // 503 КБ // ::: _http://www.proxygrab.nm.ru/ProxyGrab.v0.2a.rar

[Link]

freedomfighter
нету такой страницы

что-то страница открывать отказыватся....

[ioka]

да, 404
а посмотреть охота ...

[Zueuk]

Всем, кому нужно
Давайте в приват ящики, залью

[spleenJack]

Ребят, звиняйте, nm.ru сайты прикрывает, не знаю почему.

Вообщем пока работа идет (медленно правда ), но идет. Еще сессия на носу. В принципе все практически готово, только надо с инетом разобраться - а то для локальных файлов сделал, а скачивание с нета - еще нет. Могу в принципе поднапрячься, если прога кому-то действительно нужна, потому что просто так, впустую, заниматься этим не хочется Но если уж "народ волнуется" - постараюсь... Подождите чуток плиз.

[spleenJack]

ProxyGrab v0.3

На выходных поднапрягся, выкладываю.



Изменения :::
+ Теперь можно искать прокси и локально, в файлах
+ Загрузка и сохранение списка файлов и урлов в файл
+ Возможность останова работы
+ Появилось лог-окно
+ Счетчики проверенных и общего числа урлов и файлов, запущенных потоков, найденных прокси, найденных и принятых в общий список прокси отдельно по каждому файлу и урлу
+ Настройки: кол-во потоков на поиск в файлах и в интернете, проверка интернет-соединения, очистка списка найденных прокси перед началом работы, указание разделителя между именем хоста и порта; сброс настроек в дефолт, и их сохранение и загрузка
+ Окно About
* Изменения в интерфейсе
- Убрано определение страны проксика

Собираюсь сделать :::
+ Поиск таких записей, когда IP проксика стоит в одной колонке, а порт в другой (html-таблица)
+ Проверка на валидность урла

Естесственно, возможны глюки

Напишите, пожалуйста, пожелания, предложения, обнаруженные баги.

Скачать // 311 КБ // ::: _http://proxygrab.nm.ru/ProxyGrab.v0.3.rar

[Link]

Такая прога народу нужна полюбому! Так что знаю что есть такие для кого ты добро делаешь! Проект не закрывай - думаю у проги большое будущее.
Определение страны зря убрал - весч нужная!

AriX:
Поиск таких записей, когда IP проксика стоит в одной колонке, а порт в другой (html-таблица)

Эта фича нужна обязательно : ввел сайт в прогу и чтобы он из html все повыдирала.
Типа например samair.ru/proxy
Вобщем респект - делай прогу!

[crawler]

A протестить на валидность , скорость и анонимность ? Ввести фильтрацию/сортировку по портам.

- Убрано определение страны проксика

Почему ? Пусть будет опционально.

Баг : Если начать вводить урл, и нажать ескейп - прога закрывается.

[Link]

crawler:
A протестить на валидность , скорость и анонимность :Wink: ?

Я думаю что ПроксиЧекеру конкуренцию сложно составить
А вот про сортировку - это да! Очень удобно было бы!
С другой стороны определение страны есть и в ProxyChecker'e (правда по доменам ) так что оно тут и не нужно - это дело твое можешь добавить хуже не будет

[spleenJack]

crawler

A протестить на валидность , скорость и анонимность

))) Link думаю верно сказал - ПроксиЧекер не переплюну, а геморроя точно заработаю, и еще неизвестно сделаю ли нормально. Если и буду делать, то точно не скоро

Ввести фильтрацию/сортировку по портам.

Поподробнее? Типа, проксики только с определенными портами в список пихать, и сделать отдельную колонку Port с сортировкой?

- Убрано определение страны проксика
Почему ? Пусть будет опционально.

Хмм.. Ну не знаю Ладно, посмотрим

Баг : Если начать вводить урл, и нажать ескейп - прога закрывается.

Ясненько, исправим.

Link

А вот про сортировку - это да! Очень удобно было бы!

Сортировка в списке проксиков? Просто при сохранении в файл пишется сортрованный список. Окей, сделаю.

Спасибо за отзывы! Давайте еще ))

[Anarchist]

AriX

Основная задача программы - грабить прокси листы из списка url
Все остальное это не важно.
Все равно полученный список потом в ПроксиЧекер заряжать.
Он и отсортирует ...

Но фиксированный размер окна программы мешает сильно.
При включенном у меня 800x600 - половинка окна программы
режется на пол-кнопки About, кнопку Save вобще не видно.
Приходится изменять разрешение экрана, что не очень удобно
И хотелось бы кроме Add + url еще одну кнопку заиметь - Del - url и чистить список url не выходя из программы ...

Жду следующей версии. Спасибо

[spleenJack]

Anarchist

При включенном у меня 800x600 - половинка окна программы
режется на пол-кнопки About, кнопку Save вобще не видно.

Ага Такую фишку я заметил у друга, но подумал, что никто не заметит, .т.к. 800x600 мало у кого есть Ладно, как-нить исправим.

И хотелось бы кроме Add + url еще одну кнопку заиметь - Del - url и чистить список url не выходя из программы ...

Хорошо, это нужно.

ЗЫ: Вот кстати, небольшой список сайтов, где есть прокси, так, для проверки
_http://www.aliveproxy.com/anonymous-proxy-list/
_http://www.samair.ru/proxy/index.htm
_http://www.samair.ru/proxy/proxy-02.htm
_http://www.samair.ru/proxy/proxy-03.htm
_http://www.samair.ru/proxy/proxy-04.htm
_http://www.samair.ru/proxy/proxy-05.htm
_http://www.samair.ru/proxy/proxy-06.htm
_http://www.samair.ru/proxy/proxy-07.htm

[Makc]

Классная программа! Очень полезная! Разрешите дать у себя ссылку на софт, разумеется с вашим авторством?

[spleenJack]

Makc
Не понял про что ты, но конечно разрешаю... В AppZ чтоли запихать? Чем больше народу будет про нее знать, тем лучше.

to ALL
Несколько вопросов:
- Есть какие-нить идеи по оформлению фейса, может кнопки как по другому расположить, и вообще все элементы? Просто я то с прогой не работаю, а на практике много вещей выесняется - может что-то как-то неудобно сделано.
- Делать ли попап-менюху для списков файлов и урлов?
- И подскажите плиз, где можно нормально сделать сайтик для проги.

[Anarchist]

Если бы она еще по ссылкам первого уровня сама переходила ...
Обычно все они на одной странице.

_http://www.samair.ru/proxy/index.htm
_http://www.samair.ru/proxy/proxy-02.htm
_http://www.samair.ru/proxy/proxy-03.htm
_http://www.samair.ru/proxy/proxy-04.htm
_http://www.samair.ru/proxy/proxy-05.htm
_http://www.samair.ru/proxy/proxy-06.htm
_http://www.samair.ru/proxy/proxy-07.htm

Мечта была бы а не программа
Но даже в сегодняшнем виде, полезная и удобная программа - СПАСИБО!

[spleenJack]

Anarchist
Спасибо

Если бы она еще по ссылкам первого уровня сама переходила ...

Эээ, это как?