ProxyGrab
 

Нуу, по названию понятно, для чего прога :)

Грабилка проксей с инетовских страничек.

Кому-то надо было (Anarchist ау! :) ). Решил попробовать сделать.

Это, в принципе, пока очень сырая рабочая копия (можно так сказать). Хотелось бы просто послушать ваши идеи - что, куда и как сделать лучше. Принимаются любые советы - от функциональности, до интерфейса.
Ну и естественно, если не трудно, рассказывайте про найденные ошибки, недочеты.

Прога работает пока в ручном режиме. Т. е. сначала пишем адреса, жмем Add. Дальше Download, ждем пока в колонке Progress везде будет написано Complete. Потом Parse. Когда кнопка Save включится - жмем на нее, выбираем имя файла. Воот. Потом сделаю автоматизацию.

Пока известно, что скачивание страничек иногда глючит - из-за многопоточности. Пытаюсь избавится.

Качаем, кому трафика не жалко :)
Скачать // 216 КБ // ::: _http://proxygrab.nm.ru/ProxyGrab.v0.1a.rar

ЗЫ: Модерам - если такого рода топики тут запрещены, прошу закрыть или удалить тему.

Ща попробуем, программа должна быть полезной, только тему надо было в разделе авторский софт разместить.

Slanj
Ой черт! Уже спать хоцца - тыкнул не туда. Звиняйте - перенесите пожалуйста тему.

ProxyGrab 0.2a

http://www.proxygrab.nm.ru/shots/shot01_small.jpg

Изменения:
-Можно ограничить максимальное кол-во потоков
-Появились настройки соединения через проксик
-Определение страны найденного проксика
-Подсчет кол-ва проксиков на странице
-Всякие иконки-красивости (типа нормального отображение процесса скачивания, парсинга итд) и вообще улучшение интерфейса

Планируется сделать в недалеком будущем:
-Изменение юзером возможностей парсинга
-Расширенные возможности парсинга (например, поиск таких записей, когда IP проксика стоит в одной колонке, а порт в другой)
-Поиск проксей в локальных файлах (типа как в Proxy List Filter - только бесплатно и без демо-лимитов %) )
-Сохранение/загрузка настроек в файл
-Сохранение/загрузка списка урлов в файл

Жду ваших пожеланий, предложений, описания найденных багов - выкладывайте все идеи и все что вы хотите увидеть в проге (в разумных пределах) сюда.

Скачать // 503 КБ // ::: _http://www.proxygrab.nm.ru/ProxyGrab.v0.2a.rar

freedomfighter
нету такой страницы :)

что-то страница открывать отказыватся....

да, 404
а посмотреть охота ...

Всем, кому нужно
Давайте в приват ящики, залью

Ребят, звиняйте, nm.ru сайты прикрывает, не знаю почему.

Вообщем пока работа идет (медленно правда :) ), но идет. Еще сессия на носу. В принципе все практически готово, только надо с инетом разобраться - а то для локальных файлов сделал, а скачивание с нета - еще нет. Могу в принципе поднапрячься, если прога кому-то действительно нужна, потому что просто так, впустую, заниматься этим не хочется :) Но если уж "народ волнуется" - постараюсь... Подождите чуток плиз.

ProxyGrab v0.3

На выходных поднапрягся, выкладываю.

http://proxygrab.nm.ru/shot_v03.png

Изменения :::
+ Теперь можно искать прокси и локально, в файлах
+ Загрузка и сохранение списка файлов и урлов в файл
+ Возможность останова работы
+ Появилось лог-окно
+ Счетчики проверенных и общего числа урлов и файлов, запущенных потоков, найденных прокси, найденных и принятых в общий список прокси отдельно по каждому файлу и урлу
+ Настройки: кол-во потоков на поиск в файлах и в интернете, проверка интернет-соединения, очистка списка найденных прокси перед началом работы, указание разделителя между именем хоста и порта; сброс настроек в дефолт, и их сохранение и загрузка
+ Окно About
* Изменения в интерфейсе
- Убрано определение страны проксика

Собираюсь сделать :::
+ Поиск таких записей, когда IP проксика стоит в одной колонке, а порт в другой (html-таблица)
+ Проверка на валидность урла

Естесственно, возможны глюки :)

Напишите, пожалуйста, пожелания, предложения, обнаруженные баги.

Скачать // 311 КБ // ::: _http://proxygrab.nm.ru/ProxyGrab.v0.3.rar

Такая прога народу нужна полюбому! Так что знаю что есть такие для кого ты добро делаешь! Проект не закрывай - думаю у проги большое будущее.
Определение страны зря убрал - весч нужная!
Эта фича нужна обязательно : ввел сайт в прогу и чтобы он из html все повыдирала.
Типа например samair.ru/proxy
Вобщем респект - делай прогу!

:claps: :claps: :claps:
A протестить на валидность , скорость и анонимность ;) ? Ввести фильтрацию/сортировку по портам.
Почему ? Пусть будет опционально.

Баг : Если начать вводить урл, и нажать ескейп - прога закрывается.

Я думаю что ПроксиЧекеру конкуренцию сложно составить ;)
А вот про сортировку - это да! Очень удобно было бы!
С другой стороны определение страны есть и в ProxyChecker'e (правда по доменам :( ) так что оно тут и не нужно - это дело твое можешь добавить хуже не будет :)

crawler
:)))) Link думаю верно сказал - ПроксиЧекер не переплюну, а геморроя точно заработаю, и еще неизвестно сделаю ли нормально. Если и буду делать, то точно не скоро :)
Поподробнее? Типа, проксики только с определенными портами в список пихать, и сделать отдельную колонку Port с сортировкой?
Хмм.. Ну не знаю :) Ладно, посмотрим
Ясненько, исправим.

Link
Сортировка в списке проксиков? Просто при сохранении в файл пишется сортрованный список. Окей, сделаю.

Спасибо за отзывы! Давайте еще :)))

AriX

Основная задача программы - грабить прокси листы из списка url
Все остальное это не важно.
Все равно полученный список потом в ПроксиЧекер заряжать.
Он и отсортирует ...

Но фиксированный размер окна программы мешает сильно.
При включенном у меня 800x600 - половинка окна программы
режется на пол-кнопки About, кнопку Save вобще не видно.
Приходится изменять разрешение экрана, что не очень удобно :(
И хотелось бы кроме Add + url еще одну кнопку заиметь - Del - url и чистить список url не выходя из программы ...

Жду следующей версии. Спасибо :yees:

Anarchist
Ага :) Такую фишку я заметил у друга, но подумал, что никто не заметит, .т.к. 800x600 мало у кого есть :) Ладно, как-нить исправим.
Хорошо, это нужно.

ЗЫ: Вот кстати, небольшой список сайтов, где есть прокси, так, для проверки :)
_http://www.aliveproxy.com/anonymous-proxy-list/
_http://www.samair.ru/proxy/index.htm
_http://www.samair.ru/proxy/proxy-02.htm
_http://www.samair.ru/proxy/proxy-03.htm
_http://www.samair.ru/proxy/proxy-04.htm
_http://www.samair.ru/proxy/proxy-05.htm
_http://www.samair.ru/proxy/proxy-06.htm
_http://www.samair.ru/proxy/proxy-07.htm

Классная программа! Очень полезная! Разрешите дать у себя ссылку на софт, разумеется с вашим авторством?

Makc
:) Не понял про что ты, но конечно разрешаю... В AppZ чтоли запихать? Чем больше народу будет про нее знать, тем лучше. :)

to ALL
Несколько вопросов:
- Есть какие-нить идеи по оформлению фейса, может кнопки как по другому расположить, и вообще все элементы? Просто я то с прогой не работаю, а на практике много вещей выесняется - может что-то как-то неудобно сделано.
- Делать ли попап-менюху для списков файлов и урлов?
- И подскажите плиз, где можно нормально сделать сайтик для проги. :)

Если бы она еще по ссылкам первого уровня сама переходила ...
Обычно все они на одной странице.

_http://www.samair.ru/proxy/index.htm
_http://www.samair.ru/proxy/proxy-02.htm
_http://www.samair.ru/proxy/proxy-03.htm
_http://www.samair.ru/proxy/proxy-04.htm
_http://www.samair.ru/proxy/proxy-05.htm
_http://www.samair.ru/proxy/proxy-06.htm
_http://www.samair.ru/proxy/proxy-07.htm

Мечта была бы а не программа http://smilies.sofrayt.com/fsc/praying.gif
Но даже в сегодняшнем виде, полезная и удобная программа - СПАСИБО!

Anarchist
Спасибо :)
Эээ, это как?

AriX

Когда заходишь на _http://www.samair.ru/proxy/index.htm
Там 20 ссылок на странице:
_http://www.samair.ru/proxy/proxy-02.htm
_http://www.samair.ru/proxy/proxy-03.htm
ну и так далее ...
Все ссылки идут на каталог _http://www.samair.ru/proxy/
меняются только цифры в названии htm файла.
Я натравливаю программу только на _proxy-02.htm
она сканит эту 1 страницу, обходя остальные 20 ссылок на ней стороной.
Нельзя ли добавить узнавание программой таких ссылок.
Все они ведь по маске сделаны, и ведут в один каталог.
Или это не реально ...

Anarchist
Добавить можно, только сложно я думаю. Потому что на этом сайте например так сделано, а где-то в другом месте по-другому. Проще просто сделать список урлов этих двадцати страничек загружать его в прогу и сканить. Так и проще, и быстрее будет работать :)

AriX понял, да и так нормально, это я просто к слову ... ;)

AriX
Чёт прога не грузится. :idontnow:

satoorn

В посте #11 вполне рабочая ссылка, сейчас проверил.

Сорри за флейм, вроде всё просмотрел, качаю счас будем тестить. :claps:

По поводу фейса: может пимпы настроек, описание, записи и выхода перенести на верьх к From urls и From files? И чтоб при нажетии переходила на другую вкладку, а так прога класс, особенно подключение через прокси. Я сижу на нём и половина прог для инета не работают.

satoorn
Сенкс :)

Про кнопки: уже перенес, сделал типа тулбар сверху, освободилось много места и стало имхо удобнее. Щас практически сделал след. версию, могу уже выложить, но лучше пока еще кое-что доделаю.

AriX
ну что доделал, выкладывай потестим.

satoorn
Как сделаю - выложу :)
Просто составляю список сайтов, где можно проксики грабить, и тестю сканер.
Еще бы хотелось все-таки сайт завести на бесплатном хостинге.

А чё agava.ru, narod.ru, pisem.net не устраивает?

отличная программа

Новая билд :))

ProxyGrab v0.4

http://proxygrab.nm.ru/shot_v04.png

Список изменений:

+ Добавлена возможность изменять, удалять имена урлов/файлов
+ Добавлены попап-менюхи для списков урлов/файлов/проксиков
+ Добавлены хоткеи, и теперь они корректно обрабатываются
+ Добавлена проверка на валидность урла и существование файла
+ !Теперь проксики ищутся и по IP, и по доменам
+ !Поиск хоста и порта проксика в соседних колонках html-таблицы
+ Добавлен небольшой список сайтов, где можно найти проксики
* Опять же небольшие изменения в интерфейсе :) Включена поддержка XP-тем
* Корректное выключение/включение кнопок в зависимости от того, что делает юзер
* В списке урлов последние записываются без начального 'http://'
- Исправлен (в лоб) недочет с обрезанием правого края окна при разрешении 800x600
- При добавлении пустого урла, он не удалялся
- Если начать вводить урл, и нажать Esc - прога закрывалась
- Исправлено множество мелких ошибок

Скачать // 323 КБ // ::: _http://proxygrab.nm.ru/ProxyGrab.v0.4.rar

---

Что будет дальше :::

+ Запуск отдельных источников на сканирование (т.е. не обязательно сканировать весь список)
+ Свои параметры сканирования для каждого источника
+ Поддержка скриптов (например, на Delphi) или плагинов для сканирования отдельных источников

Думается, что вариант насчет отдельных сканеров для каждого сайта лучше: и работать быстрее будет, и качество выдаваемого результата лучше. Потому что поиск проксиков в таблицах (и не только) оказался далеко не тривиальной задачей. Например, такие списки как на proxz.com (там рядом с IP стоят белые циферки для мусора, специально, чтоп автоматика не схватила :)) или на checker.freeproxy.ru (:) еще лучше, тут все скриптик делает, т.е. проксик там совсем не в открытом виде, можете посмотреть код)
Вообщем, нужно ваше мнение насчет этого :)

У меня идеи в принципе закончились (не считая всяких мелких), так что нужны ваши!

по IP ищет как? долго?

pantech
Ищет сразу и по IP и по домену.
Проверь :) У каждого по-разному.

Tnx 10x за такую нужную вестчь! Работай в том же направлении!

А она из локальных файлов проксики выдирать умеет?

Неплохо было бы ее научить делать на гугл и яндекс запрос типа ""proxy list" or "список прокси" or "прокси лист" or "список proxy"" и парсить полученные ссылки...

ven1999
Да, умеет.
Это уже из разряда фантастики =)

Теоретически возможно...
Впринципе я думаю это не так уж и сложно для человека хорошо разбирающегося...
Чето я слышал про такое помоему Acces Diver называлась , а может и нет

Link
Я не имею ввиду, что это невозможно, я имею ввиду, что бесполезно и сложно сделать :)
Access Diver по-моему действует обычным образом - указываешь ее ссылку и она начинает с этой страницы лазить по всем ссылкам и искать там проксики. По-моему такой подход неоправдан, потому как, например, мыла собирать так можно, т.к. их везде можно найти. А страничек с проксиками совсем мало, и просто перебирать миллионы страниц, чтобы может быть и найти хоть один прокси - плохо.
Насчет предложения ven1999 - лучше самому набрать в поисковике такой запрос, понаходить сайты где эти списки есть и записать их в ProxyGrab - так и быстрее, т.к. не надо проге каждый раз пытаться искать сайты, т.к. и удобнее - один раз нашел, сделал список и все.
Вообщем не нужно это, совсем :)))))

to ALL
Люди!!! Я так понимаю, что проект этот нужен не больше, чем 10 человекам :-|. Хотелось бы услышать от вас идеи, критику и т.д. и т.п.

AriX
Тебе расширяться надо - другие форумы и т.д.
А что ты хотел прога то специфичного характера вот и пользуют люди которым это надо!