Поиск прокси серверов. Как это делается?

[7en]

Подскажите пожалуйста, как искать прокси самому, для нужной мне страны. Где-то раньше читал статью, но не могу ее найти. Спасибо.

П.С. Просьба сайты где их можно взять уже готовые, не предлогать.

[ramzik]

Первый и самый "тупой" способ, искать, как и все остальное в инете - с помощью поисковиков. Вводите в поисковом сервере что-то типа: "free proxies", "proxy list", "amonymous http proxy", "public proxy servers list" и тд.
Вы найдете тонны ссылок на страницы с примерным содержанием:

. . .
AU Rmit proxy.co.rmit.edu.au 8080 WWW / FTP
AU TAS bdcssc.dchs.tas.gov.au 3128 WWW / FTP
BR CTelecom proxy.cybertelecom.com.br 8080 WWW / FTP
BR Plattys plattys.com.br 8080 WWW / FTP
CA Cslouis proxy.cslouis-hemon.qc.ca 8080 WWW / FTP
CA Nortel ecarh29c.nortel.ca 8080 WWW / FTP
CN Szptt pcsoft.szptt.net.cn 80 WWW / FTP
CH Iprolink proxy.iprolink.ch 80 WWW / FTP
CH ISOE isoe.isoe.ch 8080 WWW / FTP
CL Reuna caiquen.concep.reuna.cl 8080 WWW / FTP
. . .

Думаю разобраться в этом не сложно. В данном примере формат строки такой:
Регион держатель_сервера имя_прокси_сервера порт протоколы
Нам нужны только имя прокси и порт, остальная информация вспомогательная, например www/ftp говорит что прокси поддерживает два протокола http и ftp.

А теперь важная информация. сначала замечу, что к тому времени когда вы найдете список - 90% прокси уже не будут работать, из тех 10% что останется возможно от 0% до 2% будут анонимными. Ошибка многих - бездумное использование первого попавшегося работоспособного прокси. Люди не удосуживаются для начала проверить его, а многие просто не знают, что это можно сделать.

Самостоятельный поиск
Для начала небольшой ликбез. Вы уже знаете или заметили что сервер это не просто адрес или имя а еще какой-то порт. Что это за порт такой. Порт как порт, куда корабли чалят, аналогия самая непосредственная. Допустим город - это ip адрес, корабли - это tcp-пакеты, а порты это порты, много портов, за каждым портом скрывается какой-нибудь сервис. 80 - это www-сервер, 21 - ftp, 25 - smtp, если очень интересно посмотрите здесь полный список всех более менее стандартных сервисов. Нас же интересуют прокси, они тоже сидят обычно на стандартных портах, хотя могут сидеть где угодно. Обычно сидят они на 8080, 3128, 80, (это все http-прокси), это связано с тем, что прокси это программы, а у них есть настройки по умолчанию. Вот создатели "умолчали" стандартный порт, а админам лень что-то менять или сами не знают как. Например: 3128 - это прокси сервер под unix - Squid. 8080 - это не совсем прокси, хотя выполняет свои функции - это связано с архитектурой unix систем. Хотя нам по барабану, что там за прокси лишь бы работал как надо. А нас сейчас интересует только номера портов. Итак, стандартные самые популярные порты 3128 и 8080 (первый встречается на порядок чаще, хотя это зависит от региона), этим и воспользуемся.

Итак, как мы этим воспользуемся. Начнем с простого, допустим мы имеем некоторый ip адрес, теперь надо проверить - есть ли на нем прокси-сервер. Делается это так: пробуем подсоединиться к порту 3128 или 8080, если это удается, то скорее всего там есть прокси. Если очень интересно как же это мы пробуем подсоединиться, то вот, например как это сделал бы я: я бы пытался соединиться telnet-ом к ip-addressort .

Telnet - протокол и одноимённое приложение, используемые для установления связи с удалённым компьютером по протоколу TCP/IP. Сессия Telnet позволит управлять удалённым компьютером, так же как и локальным: пользователю кажется, что он работает за терминалом удалённого компьютера. В Telnet применяется интерфейс командной строки, а не графический интерфейс.

Практически каждая операционная система предусматривающая использование сети, имеет telnet-клиент. В частности в windows он находится в директории windows и называется telnet.exe . Проще его вызывать таким образом: Start->Run (Пуск->Выполнить) , набираете в появившейся командной строке: telnet ip_address(host_name) port. Например: telnet 111.222.33.4 8080
или: telnet proxy.htt.someprovider.net 3128.
Если попробовать подсоединиться таким образом к прокси-серверу, то ничего особенного не произойдет, telnet клиент подсоединиться к серверу, а сервер будет ожидать команду. Если на данном порту сервера не окажется - клиент выведет сообщение об ошибке подключения: "не удается подключиться к ip_address".

таким способом никто не пользуется, потому что существуют способы намного более удобные и эффективные

Сканирование
Сейчас я опишу свой самый любимый способ. Для подобных целей применяются специальные программы - сканеры. Сканеры пытаются подключиться к выбранному порту(портам) в заданном диапазоне ip адресов. В принципе происходит то же самое что и в случае с telnet-ом, но все происходит на порядок быстрее. Для этого я использую scanner входящий в программу NetLab. Это программа кроме самого сканера включает в себя еще много полезных функций, в которых вы или разберетесь сами, или я расскажу в других разделах, если эти функции будут касаться темы. На данный момент нас интересует только сканер. Существует большое количество подобных программ, но их сканеры - полная лажа, потому что сканируют они каждый ip-адрес последовательно с таймаутами в несколько секунд между каждой попыткой подключения, поэтому время сканирования одного диапазона может длиться несколько минут. Сканер в NetLab - единственный сканер под Windows из всех что я знаю, который работает совершенно по-другому - он посылает запросы сразу на группу адресов и одновременно принимает ответы, таким образом, сканирование длится ~30 секунд при таймауте в 1500ms.

Теперь о том, что нужно делать. Сначала вы достанете NetLab v1.4. Можете найти его в файловом архиве или скачайте прямо здесь. Запустите его, вы увидите группу закладок, нажмите на закладку Scanner.

Настраивать ничего особенно не надо, кроме может быть параметра Timeout. Значение Timeout нужно выбирать в зависимости от скорости вашего соединения и главное времени задержки, которое можно определить утилитой ping, но если вы не знаете что это и как, я приведу пару примеров: если вы собираетесь сканировать свою локальную сеть или область интернета в вашем городе то можно выбирать значение от 200ms до 1000ms, если вы сканируете другую страну то ставьте значение Timeout ~1000-2000ms, а если вы используете спутниковый канал и находитесь в Австралии, а сканируете Европу, то устанавливайте это значение от 2000ms и больше. В любом случае это все примерно и может зависеть от многих факторов, но сейчас этого будет достаточно. Да, я не сказал что это вообще за параметр - короче говоря - это время ожидания ответа сервера, чем меньше значение, тем быстрее идет процесс сканирования.

Так как мы сканируем специфический порт, то нужно поставить птицу напротив Scan Ports и указать порт 3128 в обеих ячейках:



После непродолжительных "настроек", можете вводить диапазон ip адресов и нажимать на кнопку Scan. Сейчас вкратце расскажу откуда брать ip адреса. Я не собираюсь в этой главе рассказывать все премудрости построения сетей, о типах и классах сетей, а просто приведу пример, как просто найти некоторый диапазон ip. Например: вы хотите использовать один из прокси который находиться в Австралии. Зайдите на свой любимый поисковик и введите что-нибудь в таком роде - "Australian internet providers", думаю вы легко найдете страницу где будет большой список провайдеров этого континента с cсылками на их сервера. Допустим, вы выбрали какой-нибудь www.vianet.net.au определите ip адрес этого сервера с помощью DNS.

DNS(Domain Name System) - это распределенная база данных, которая содержит информацию о компьютерах, включенных в сеть Internet. Характер данных зависит от конкретной машины, но чаще всего информация включает имя машины, IP-адрес и данные для маршрутизации почты.
Для удобства, большинство компьютеров имеют имена. Доменная система имен выполняет несколько задач, но основная ее работа - преобразование имён компьютеров в IP-адреса и наоборот.
Пространство имен DNS имеет вид дерева доменов, с полномочиями, возрастающими по мере приближения к корню дерева. Корень дерева имеет имя "."; под ним находятся домены верхнего уровня (корневые домены).
По историческим причинам существует два вида доменов верхнего уровня. В США домены верхнего уровня отражают организационную структуру, и как правило имеют трехбуквенные имена:
.gov - государственные учреждения,
.mil - военные учреждения,
.com - коммерческие организации,
.net - поставщики сетевых услуг,
.org - бесприбыльные организации,
.edu - учебные заведения;
Для доменов вне США, в соответствии с территориальным расположением используются двухбуквенные коды стран ISO. Например:
.ru - Россия
.de - Германия
.nl - Нидерланды
и т.д.

Проще всего это сделать тем же NetLab-ом. На закладке DNS в поле "Remote host" введите имя хоста ip-адрес которого вы собираетесь определить, в нашем случае введем www.vianet.net.au . Жмем на кнопку DNS. В нижнем окне должны увидеть Поле "IP address:" напротив которого будут 4 числа разделенные точкам - это и есть ip адрес который нам нужен. Имеем ip адрес этого хоста, теперь можем заносить первые 3 числа в поле для ip-адреса (в Scanner-е). Так как мы будем сканировать не один адрес, а диапазон адресов, вместо последнего числа указываем начальное и конечное значение - от 0 до 255.



Можно также поставить галочку на "Resolve IP address", не обязательно но более удобно и наглядно - в процессе сканирования будут сразу выводиться названия хостов соответствующих ip-адресов (если они есть, конечно).

Вот и все, теперь все готово, все поля заполнены, можно начинать процесс сканирования. Нажимаем на кнопку Scan... Процесс пошел. О завершении сканирования сообщается в окошке под Таймаутом словом Done, или по активной кнопке Scan. Смотрим на результат...



Ну что ж, один открытый порт 3128 найден. Нормально, сейчас его проверим, прописываем его в браузере (можно писать ip или имя). Топаем на страницу проверки и смотрим:



Мда... как видим это юниксовский прокси Squid/2.2STABLE5... Но нас интересует анонимность. Смотрим на поле HTTP_X_FORVARDED_FOR , хо-хо, я такого еще не встречал, в поле где должен быть наш ip адрес - стоит адрес их сервера. Может админ так специально настроил или у него кривые руки, но нас, прокси, как ни странно удовлетворяет в плане анонимности. Конечно, зайти на сервер, который игнорирует подключения от прокси не получиться, но для других серверов он вполне сгодится.

Примечания.
Многие провайдеры (и не только) имеют количество активных и зарезервированных адресов, больше 255. Поэтому вы можете попытаться просканировать близлежащие диапазоны, изменяя предпоследнюю цифру в ip адресе. Более подробную информацию о принадлежности адресов можно узнать при помощи Whois сервера, но это тема для отдельной статьи.
Это самый наглядный способ (всмысле - поиск сетей), существуют и получше, об этом еще напишу.
Думаю если каждый прочитавший эту статью или даже каждый десятый решит проверить прокси приведенный в примере, то через неделю другую он престанет работать, или админы поставят пароль, заметив подозрительную активность. Это судьба почти всех прокси публикуемых в списках, поэтому я вам рекомендую искать прокси самим.


From shadowsecurity.net.ua

[Goryn]

Вот еще сервис, выдающий текущий список найденных анонимных прокси по разным странам

_http://www.samair.ru/proxy/

[alexcop]

7en
Скачай прогу proxychecker
_http://proxychecker.net
И будет тебе счастье. Эта прога сама облазиет все сайты, где выкладываются прокси-листы, скачает все листы, проверит по скаченным листам сами серваки - жив/мертв, все рабочее запишет в новый прокси-лист.
Поддерживает следующие прокси-протоколы: SOCKS4, SOCKS4A, SOCKS5, HTTP (HTTPS), WinGate-Telnet, можно задавать сортировку по номеру порта.

_http://pureproxy.net

вводиш код страны и получаеш все прокси

[TARANTULA]

сайти:

Proxy4Free
Stay Invisible