imho.ws
IMHO.WS  

Вернуться   IMHO.WS > Компьютеры > Железо
Опции темы
Старый 10.08.2009, 17:54     # 1
crawler
Full Member
 
Регистрация: 11.12.2002
Сообщения: 864

crawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собой
Конфигурация сервера

Хочу спросить совета общественности в приобретении сервера для вычислений. Цена в районе 1.5-2 килобакса. форм фактор - стоечный, 1ю или 2ю.
Операционка 2003 или что там еще микрософт придумает.
Задача - чтение файлов данных (порядка 40Гб, каждый где-то 200к-500к) и их обработка (расчеты с плавающей точкой). Результат записывается в текст файлы небольшого размера. Задача распаралелена. Имеется 2 режима работы:
1) прочесть все файлы данных, перераспределить данные, записать в новые файлы (выходит под 12Гб) , обработать каждый промежуточный файл.
2) обсчитывать каждый файл данных по отдельности.

В принципе с процем все ясно - брать какой нибудь Хеон из поновее. Памяти 8Гб хватит на все с избытком. Вопрос в дисковой подсистеме. Какие сегодня диски есть, с каким интерфейсом (SCSI, SAS), какие скорости?

Сегодня стоит Хеон 5345 с 4 Гигами и дисками SATA, неплохо бегает, но проц загружен процентов на 30-60, хотелось бы побольше.
crawler вне форума  
Старый 10.08.2009, 18:04     # 2
AlexeyVKa
Guest
 
Сообщения: n/a

Я бы рекомендовал SAS диски, так как SCSI по тихонечку сходят на нет и новых моделей почти не наблюдается. Кроме того SAS это собственно развитие SCSI (SAS - Serial attached SCSI) с более высокой скоростью передачи данных.

Что касается загруженности процессора, то мне кажется, что сама задача такова, что ей не требуется больше процессорного времение. Если задача может быть распаралелена между несколькими машинами, то можно на одном сервере поднять несколько виртуальных и между ними распределить нагрузку. Но опять же надо смотреть, может быть у тебя все в дисковую подсистему упирается.
 
Старый 10.08.2009, 19:55     # 3
pnp2000
Full Member
 
Аватар для pnp2000
 
Регистрация: 12.12.2003
Пол: Male
Сообщения: 1 780

pnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэй
А что за программа , которая ведёт расчёты ??? и почему именно U1-2 ???
__________________
Связался с лучшим,умри как все... © "Хакеры" ("Hackers")
==||::::::> * <::::::||==
pnp2000 вне форума  
Старый 10.08.2009, 22:08     # 4
Borland
СуперМод
IMHO Консультант 2005-2009
 
Аватар для Borland
 
Регистрация: 14.08.2002
Адрес: Московская ПЛ, ракетный отс
Пол: Male
Сообщения: 14 377

Borland - Гад и сволочь
Цитата:
Сообщение от crawler Посмотреть сообщение
Цена в районе 1.5-2 килобакса
За такую сумму взять что-то более-менее приличное просто нереально.
Простейший сервер на ксеоне с одним-единственным SATA HDD стОит от 2800$... http://www.oldi.ru/catalog/show.php?idx=22181&cod=0111931&pgf=%2Fprice%2Fgroup.php%3Fidx%3D0%26pt %3D0%26every%3D0%26instock%3D10
А к нему ведь ещё и диски докупать нужно, от ~170$ за штуку (SAS 10k на 74Гб) ...
В общем, именно сервер с нормальной (не-SATA) быстрой дисковой подсистемой будет стОить от 4000$ и больше...
И в общем-то дисковая подсистема и составляет львиную долю стоимости практически любого приличного сервера.
Для справки, хотел тут недавно один человек "сервер" собрать (на самом деле - просто комп с более-менее нормальной дисковой подсистемой, под файлопомойку)...
__________________
Не засоряйте форум "спасибами"! Для выражения благодарности существуют ПС и репутация! Соблюдайте Правила!
Распространенье наше по планете
Особенно заметно вдалеке:
В общественном парижском туалете
Есть надписи на русском языке

В. Высоцкий

Borland вне форума  
Старый 11.08.2009, 09:30     # 5
Блохастик
Подкустовый выползень
 
Аватар для Блохастик
 
Регистрация: 19.09.2002
Адрес: село Кукуево
Пол: Male
Сообщения: 892

Блохастик СэнсэйБлохастик СэнсэйБлохастик СэнсэйБлохастик СэнсэйБлохастик СэнсэйБлохастик СэнсэйБлохастик СэнсэйБлохастик СэнсэйБлохастик СэнсэйБлохастик СэнсэйБлохастик СэнсэйБлохастик СэнсэйБлохастик Сэнсэй
Если обязательно проц Хеон то сервак будет прилично стоит сам по себе без системы. 2003 сервера уже нет и на сервер ставится 2008 сервак. SAS диск на 350 гиг стоит 13-14 рэ. соответственно наличие SAS дисков значительно удорожает цену сервера.
Зайди сюда и посмотри сам как влияет добавление тех или иных железяк на стоимость сервера. Вполне возможно тебе хватит сервера первого уровня с Core 2 Quad процом. Тогда смотри Storm 1000
__________________
Вчера работники Эльдорадо обманули цЫганку.
Блохастик вне форума  
Старый 11.08.2009, 11:10     # 6
crawler
Full Member
 
Регистрация: 11.12.2002
Сообщения: 864

crawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собой
pnp2000, да по работе гоняем, софт свой. размер u1-u2 диктуется требованиями отдела IT. Они у нас вообще какие-то "чудаки".

Блохастик, AlexeyVKa, Хеон не обязателен, но быстрый кводный проц нужен. Не на неделю покупаем. И перспектива апгрейда - не особо интересует. Распределять на несколько машин - гемор, и на данный момент нет смысла. Задачка за ночь просчитывается.

Borland, ну сервер - это просто громкое название для числодробилки. но в связи с форм фактором и быстрыми дисками - более всего подходит.

Спасибо всем за наводки. А такой вопрос- можно ли засунуть один диск SAS гиг на 150, a другой SATA для системы и всего прочего? И еще. А есть ли смысл увеличить рамер оперативки гиг так до 24-32, и пользовать ее как рам-драйв?
То есть идея такая: поставить SATA диск для системы и юзеров, SAS для данных, временные расчеты держать на рам-драйве, и в конце цикла сбрасывать на SATA диск. Если это возможно, то должно серьезно ускорить систему.


Кстати, а может стоит поставить флеш драйв гиг так на 32-64 для этих целей или у них интерфейс медленный?

Последний раз редактировалось crawler; 11.08.2009 в 11:13.
crawler вне форума  
Старый 11.08.2009, 13:30     # 7
Borland
СуперМод
IMHO Консультант 2005-2009
 
Аватар для Borland
 
Регистрация: 14.08.2002
Адрес: Московская ПЛ, ракетный отс
Пол: Male
Сообщения: 14 377

Borland - Гад и сволочь
Цитата:
Сообщение от crawler Посмотреть сообщение
можно ли засунуть один диск SAS гиг на 150, a другой SATA для системы и всего прочего?
Можно. Но практически лишено смысла: одиночный SAS-диск ненамного быстрее одиночного же SATA. Даже если это Cheetah 15k (самые быстрые винчестеры на рынке). Реально быстрые дисковые системы - RAID-0 и RAID-10 (1+0), и чем больше в них винчестеров тем быстрее. Если надёжность хранения данных непринципиальна - можно остановиться на RAID-0. Если принципиальна - RAID-10 (но при этом половина дисковой ёмкости уходит под резервирование). "Промежуточный" вариант - RAID-5 (под резервирование уходит только один винчестер, но и скорость ниже чем 0/10). "Максимальный" - RAID-50 (5+0), но нужно очень много винчестеров и очень дорогой контроллер.
Цитата:
Сообщение от crawler Посмотреть сообщение
есть ли смысл увеличить рамер оперативки гиг так до 24-32, и пользовать ее как рам-драйв?
Мысль интересная, хотя организация RAM-диска под виндами - задача нетривиальная. И памяти нужно будет не "24-32" а поболее. Под RAM-диск, насколь я помню, можно выделить не более половины системной памяти, а там нужно будет держать весь массив под обработку и все промежуточные файлы...

Кстати, прежде, чем модернизировать дисковую подсистему - нефигово бы чётко убедиться, что именно она является "узким местом"... Очень немного программ, которые реально могут нагрузить вычислениями многоядерные системы...
Добавлено через 10 минут
Цитата:
Сообщение от crawler Посмотреть сообщение
может стоит поставить флеш драйв гиг так на 32-64 для этих целей или у них интерфейс медленный?
Скорость линейного чтения невысокая, зато время поиска стремится к нулю. Если огромное количество мелких файлов - может и есть смысл... Иначе - весьма сомнительно.

Кстати, о RAM-дисках: http://www.nix.ru/autocatalog/ramdisk/Gigabyte_iRAM_GCRAMDISKGB1_4xDDRSATA_PCI_71927.html
Аппаратная реализация...
__________________
Не засоряйте форум "спасибами"! Для выражения благодарности существуют ПС и репутация! Соблюдайте Правила!
Распространенье наше по планете
Особенно заметно вдалеке:
В общественном парижском туалете
Есть надписи на русском языке

В. Высоцкий

Borland вне форума  
Старый 11.08.2009, 16:23     # 8
pnp2000
Full Member
 
Аватар для pnp2000
 
Регистрация: 12.12.2003
Пол: Male
Сообщения: 1 780

pnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэй
Цитата:
Сообщение от Borland Посмотреть сообщение
Аппаратная реализация...
Однако её скорость ограниченна PCI , а это значит 132Мб/С и не больше уж лучше тогда купить систему из SSD и сделать из неё RAID0 , вот что реально работает быстрее , ибо время поиска у них стремится к нулю , и скорость , новые SSD дают до 250МБ на чтение и до 180 на запись , причём они почти всегда на такой скорости и работают , в особенности если прога своя то можно её дорабоатть чтобы она данные сбрасывала большими кусками , просто скорость SSD падает при работе с очень маленикими файлами , они конечно всёравно лучше HDD но если можно оптимизировать то аочему бы и нет , и к стати если прога самописная то самый лучший вариант для
Цитата:
Сообщение от crawler Посмотреть сообщение
расчеты с плавающей точкой
это сделать программу на CUDA , это даст прирост поболее чем любой апгрейд , крутая видюха стоит в принципе недорого
__________________
Связался с лучшим,умри как все... © "Хакеры" ("Hackers")
==||::::::> * <::::::||==
pnp2000 вне форума  
Старый 12.08.2009, 00:47     # 9
crawler
Full Member
 
Регистрация: 11.12.2002
Сообщения: 864

crawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собой
Цитата:
Сообщение от Borland Посмотреть сообщение
Но практически лишено смысла: одиночный SAS-диск ненамного быстрее одиночного же SATA
не понял... диски что стоят сейчас дают где-то 60МB/s при потенциале интерфейса 150MB/s. SAS говорят сложен дать 6Гб/сек. можно поподробнее?

На счет RAID-0 я не уверен, исходные файлы размером 200-400К, будет ли эффект. По любому на больше чем 2 диска денег не дадут, да и отказоустойчивость не важна, обычного стрипа будет достаточно.

Про мемори экстендеры я думал, но их кажется для PCIe не делают.

pnp2000, CUDA не катит, у них архитектура так заточена что оперативки мало, а гонять десятки мегабайт из текстурной памяти для каждой операции - убивает все плюсы SIMD. Да и переписать систему под нее - 3-5 месяцев работы, слишком дорого. Плюс я еще не слышал о производителях карт для установки в 1ю. Но вариант обдумывался.
crawler вне форума  
Старый 12.08.2009, 01:16     # 10
Borland
СуперМод
IMHO Консультант 2005-2009
 
Аватар для Borland
 
Регистрация: 14.08.2002
Адрес: Московская ПЛ, ракетный отс
Пол: Male
Сообщения: 14 377

Borland - Гад и сволочь
Цитата:
Сообщение от pnp2000 Посмотреть сообщение
её скорость ограниченна PCI
С какого перепуга? Это SATA-девайс, от PCI он только питается...
Цитата:
Сообщение от crawler Посмотреть сообщение
SAS говорят сложен дать 6Гб/сек
Это скорость интерфейса, не диска... Согласно спецификации самой быстрой серии (http://www.seagate.com/docs/pdf/datasheet/disc/ds_cheetah_15k_7.pdf), пиковая скорость - 204 MB/s. На практике и этого достигнуть не очень реально... А СтОит такой винт - мама не горюй (поболее килобакса за штучку). Да ещё и контроллер нужен (SAS 2.0) недешёвый, чтоб на полную катушку работало...
А винты, сравнимые с SATA по стоимости, и скорость имеют сравнимую...
__________________
Не засоряйте форум "спасибами"! Для выражения благодарности существуют ПС и репутация! Соблюдайте Правила!
Распространенье наше по планете
Особенно заметно вдалеке:
В общественном парижском туалете
Есть надписи на русском языке

В. Высоцкий

Borland вне форума  
Старый 12.08.2009, 02:12     # 11
crawler
Full Member
 
Регистрация: 11.12.2002
Сообщения: 864

crawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собой
ясно... то есть в пределах доступных денег - RAID-0 на 2 SATA дисках и не больше. а какую скорость можно получить от такой системы реально? то есть задач 2- чтение кучи файлов по 200-400 Кб, и последовательное чтение (или запись) блоков по 50-100Кб из больших файлов по 1 Гб.
crawler вне форума  
Старый 12.08.2009, 08:10     # 12
pnp2000
Full Member
 
Аватар для pnp2000
 
Регистрация: 12.12.2003
Пол: Male
Сообщения: 1 780

pnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэйpnp2000 Сэнсэй
Цитата:
Сообщение от Borland Посмотреть сообщение
С какого перепуга? Это SATA-девайс, от PCI он только питается...
Ну ладно , я думал она немного по другому подключается ну всёравно она 150Мб/Сек даёт , что не сравнится с SSD
Цитата:
Сообщение от crawler Посмотреть сообщение
то есть в пределах доступных денег - RAID-0 на 2 SATA дисках и не больше
Обдумайте вариант с SSD , два SSD новых серий дадут очень хорошую скорость
Для примера во OCZ VERTEX SERIEX 60 GB SATA II 2.5’ SOLID STATE DRIVE
__________________
Связался с лучшим,умри как все... © "Хакеры" ("Hackers")
==||::::::> * <::::::||==

Последний раз редактировалось pnp2000; 12.08.2009 в 08:15.
pnp2000 вне форума  
Старый 12.08.2009, 09:19     # 13
eap
Full Member
 
Регистрация: 07.03.2007
Сообщения: 1 060

eap Имеются все основания чтобы гордиться собойeap Имеются все основания чтобы гордиться собойeap Имеются все основания чтобы гордиться собойeap Имеются все основания чтобы гордиться собойeap Имеются все основания чтобы гордиться собойeap Имеются все основания чтобы гордиться собойeap Имеются все основания чтобы гордиться собойeap Имеются все основания чтобы гордиться собойeap Имеются все основания чтобы гордиться собойeap Имеются все основания чтобы гордиться собойeap Имеются все основания чтобы гордиться собой
crawler
Из постановки задачи и последующего обсуждения получается, что нужен круглосуточно включенный быстрый комп с быстрой дисковой подсистемой для вычислений. Требований к надежности, сохранности данных и т.п. нет. В случае чего - следующей ночью все пересчитается.
Соответственно вопросы.
1. Включенный ночью комп должен обязательно стоять в стойке, или можно под столом в офисе? (Очень существенная разница в цене серверной стоечной платформы и "обычного" корпуса с топовой "офисной" начинкой)
2. ОС должна быть серверной, или XP Home сойдет (с соответствующей разницей в цене)?
3. Дисковая подсистема - я бы взял один обычный SATA диск под ОС и RAID0 из 2-х HDD 150 Gb SATA-II 300 Western Digital VelociRaptor
eap вне форума  
Старый 12.08.2009, 10:29     # 14
Mg0
::VIP::
Железный Дровосек
 
Аватар для Mg0
 
Регистрация: 01.10.2003
Адрес: 1/6 суши
Пол: Male
Сообщения: 3 510

Mg0 СуперБогMg0 СуперБогMg0 СуперБог
Mg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБогMg0 СуперБог
Цитата:
Сообщение от crawler Посмотреть сообщение
Сегодня стоит Хеон 5345 с 4 Гигами и дисками SATA, неплохо бегает, но проц загружен процентов на 30-60, хотелось бы побольше.
Не вполне понял, чего хотелось бы... Хотелось бы загрузить проц на 100%? Тогда надо все же понять, кто ему не дает. Если реально узкое место в дисковой подсистеме, тогда задешево эту задачу не решить никак... Впрочем, выше всё уже сказано: и приличный рейд-50, и приличное ОЗУ (хотя бы 128Гб) и мать, способная тянуть такой объем памяти, намного превышают заявленную сумму.
__________________
Я только снаружи страшОн, а внутри...
внутри я... просто УЖАСЕН!
Mg0 вне форума  
Старый 12.08.2009, 10:48     # 15
Borland
СуперМод
IMHO Консультант 2005-2009
 
Аватар для Borland
 
Регистрация: 14.08.2002
Адрес: Московская ПЛ, ракетный отс
Пол: Male
Сообщения: 14 377

Borland - Гад и сволочь
Цитата:
Сообщение от crawler Посмотреть сообщение
в пределах доступных денег - RAID-0 на 2 SATA дисках и не больше
не знаю, что у Вас за железка сейчас... Но думается мне при таком бюджете и "пофигу надёжность" лучше добавить RAID-0 из максимально возможного числа SSD-винчестеров в существующий сервер.
Цитата:
Сообщение от pnp2000 Посмотреть сообщение
OCZ VERTEX SERIEX 60 GB SATA II 2.5’ SOLID STATE DRIVE
Цена за единицу - около 400$; на 2 килобакса можно взять аж 5 штук. Думается мне, что страйп из 5 таких винтов будет весьма и весьма быстр.
Но опять же, если рассматривать возможность апгрейда - надо точно представлять себе что уже есть. В разных серверных платформах возможности апгрейда и его стоимость весьма и весьма различны...
__________________
Не засоряйте форум "спасибами"! Для выражения благодарности существуют ПС и репутация! Соблюдайте Правила!
Распространенье наше по планете
Особенно заметно вдалеке:
В общественном парижском туалете
Есть надписи на русском языке

В. Высоцкий

Borland вне форума  
Старый 12.08.2009, 11:50     # 16
crawler
Full Member
 
Регистрация: 11.12.2002
Сообщения: 864

crawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собойcrawler Имеются все основания чтобы гордиться собой
ок, всем спасибо за наводки. Я думаю что тему можно считать закрытой.
и на последок ссылка

Последний раз редактировалось crawler; 12.08.2009 в 11:53. Причина: Borland : индивидуальный спасиб, в карму больше не лезет ;)
crawler вне форума  

Теги (метки)
raid, ssd, сервер

Опции темы

Ваши права в разделе
Вы НЕ можете создавать новые темы
Вы не можете отвечать в темах.
Вы НЕ можете прикреплять вложения
Вы НЕ можете редактировать свои сообщения

BB код Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Часовой пояс GMT +4, время: 03:39.




Powered by vBulletin® Version 3.8.5
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.