Форум программистов, компьютерный форум, киберфорум
Наши страницы
Собрать сервер, NAS
Войти
Регистрация
Восстановить пароль
 
RuCode
52 / 25 / 8
Регистрация: 03.06.2016
Сообщений: 243
#1

Сборная солянка - сервер, рабочая станция, NAS

01.07.2018, 17:29. Просмотров 282. Ответов 8
Метки нет (Все метки)

Всем привет!

Дома есть NAS (celeron skylake, 8gb ОЗУ, 6Тб HDD RaidZ) , но в течение года навешивал сервисов:

0. ZFS и RaidZ, внезапно требуют ОЗУ в большом количестве. Кеш на SSD 60 GB, пока не используется.
1. Apache (ReverseProxy, WordPress).
2. MySQL (MariaDB), PostgreSQL.
3. CertBot.
4. Transmission-daemon (только для меня).
5. NextCloud.
6. GitLAB.
7. Plex (только для меня).
8. FTP/Samba/WebDav (только для меня).

В итоге упёрся в память и не всё установил что хотел, сейчас как я писал стоит 8 Гб, но руки не доходят докупить и настроить следующие вещи:

1. Почтовый сервер в полном фарше.
2. Сервер 1С на пару человек.
3. OnlyOffice интеграционное приложение для NextCloud.
4. HPC* в Kubernetes или Docker.

Целерон пока показывает себя хорошо, но пользователей 1|2 человека. В будущем ожидаю около 500 пользователей в онлайне, GitLab минимум выжрет 8 гб, OnlyOffice и всё остальное надеюсь что примерно съест 16 гб ОЗУ.

НО!!! теперь мы подошли к самому интересному, хотелось бы подключить к мамке сопроцессор Xeon Phi и NVIDIA Tesla чтобы получить пиковую производительность в диапазоне от 5 до 10 ТФлопс на двойной точности. И тут уже мне кажется, что не хватит процессора, а для многих бизнес\науч расчётов нужно от 200гб ОЗУ. Идея в том, чтобы разрешить различным пользователям исполнять приложения в контейнере с проброшенными внутрь GPU и XPhi.

Из этого следует:
1. Нужен многоядерный проц чем больше ядер тем лучше, может даже два ЦП на мамке. Думаю, что можно заюзать и б\у-шные Xeon'ы. Или райзены AMD.
2. Нужно от 250 гб ОЗУ. Можно и DDR3.
3. Дисковое хранилище хочу сделать в RaidZ, но стоит ли все диски держать в рэйде я не знаю. Предполагаю, что вывод от HPC и TEMP-разделы можно использовать без резервирования.
4. Желательно выбрать ОЗУ, чтобы можно было добавлять планками по 32 со временем. А диски вводить в рэйд тоже постепенно.
5. Чем дешевле, тем лучше.


Рад буду любым советам, опыта с серверами почти нет. Говорите что думаете и с чего начать, заранее спасибо =)
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
01.07.2018, 17:29
Ответы с готовыми решениями:

МАть ASUS P9A-I/C2750/SAS/4L под NAS & WEB СЕРВЕР
Процессор: Intel Atom C2750 8*2.4 GHz Память: DDR3 DIMM, 1333 - 1600 МГц...

сборная солянка e8400+gtx580+P5K-SE
Доброго вечера, технари. Вопрос будет довольно специфический, а для некоторых...

сборная солянка e8400+gtx580+P5K-SE
Доброго вечера, технари. Вопрос будет довольно специфический, а для некоторых...

Небольшой сервер\рабочая станция до 30 т.р
Доброго времени суток! Прошу Вашей помощи. Необходимо собрать рабочую...

Сборная солянка: законы постоянного тока, магнитное поле...
Задали на мою голову. А я дуб дубом.. Хотя бы пните меня в нужном направлении к...

8
a_shats
637 / 275 / 63
Регистрация: 11.03.2015
Сообщений: 1,055
02.07.2018, 11:08 #2
RuCode,
Сколько конкретно Xeon Phi или Тесла (почему не Вольта, например? И каких конкретно Тесла - их много, от P4 до P100) Вы хотите видеть в своей рабочей станции ?
С 250+ ГБ Вы чуток промахнулись - у нынешних серверных процессоров по 6 каналов к ОЗУ
А старье ооочень далеко не всё с Теслой заживет.
Что до Ксеонов Фи - скажите им "фи" Интел отказался от PCI-E вариантов в новых ядрах (Knights Landing), остались только LGA3467, причем опять-таки в большинстве случаев они прикидываются основными CPU - а не сопроцессорами.
Ну и примеры, от Супермикро:
https://www.supermicro.com/products/system/4U/7049/SYS-7049GP-TRT.cfm
Лезет всё, и Теслы, и Вольты - до 4 шт., но:
- изначально это рассчитано под акселераторы с пассивным охлаждением, если берете такие - то не забывайте взять соответствующий кит на каждый GPU MCP-320-74702-0N-KIT и кабели CBL-PWEX-1040, а "пустые" слоты (без GPU) забивать заглушками MCP-240-00096-0N
Для Ксеон Фи:
https://www.supermicro.com/products/system/tower/5038/SYS-5038K-I.cfm
Тут нечего придумывать, берете платформу сразу с соответствующим процессором, добиваете ОЗУ и прочим по желанию - и вперед.
В порядке замечания: сейчас решения от NVidia лучше, практически во всём.
0
RuCode
52 / 25 / 8
Регистрация: 03.06.2016
Сообщений: 243
02.07.2018, 23:20  [ТС] #3
Цитата Сообщение от a_shats Посмотреть сообщение
Сколько конкретно Xeon Phi или Тесла
В стартовую конфигурацию хотел купить по одной, потом докупить ещё по одной если проект пойдёт.

Цитата Сообщение от a_shats Посмотреть сообщение
почему не Вольта, например?
620к, как то много. Да она классная и современная, но это слишком дорого.

Цитата Сообщение от a_shats Посмотреть сообщение
у нынешних серверных процессоров по 6 каналов к ОЗУ
Это значит, что на 1 канал ставиться 2 планки памяти?

Цитата Сообщение от a_shats Посмотреть сообщение
А старье ооочень далеко не всё с Теслой заживет.
E5-2695v3 на сокет 2011-3 это сильно старьё?

Цитата Сообщение от a_shats Посмотреть сообщение
Что до Ксеонов Фи - скажите им "фи"
Тут прикол в том, что CUDA позволяет параллелить одну задачу, xeon phi может крутить разные на каждом ядре одновременно. Таким образом, сферический конь в вакууме быстрее на CUDA, а вот реальные задачи удобнее может быть делать на Phi.

Итак, о каком конфиге я думал:
1. ЦП E5-2695v3 - 2 шт
2. Мать Supermicro X10DGQ
3. ОЗУ Hynix DDR4 2666 Registered ECC DIMM 32Gb
4. Xeon Phi 7250 - 1 шт (докуплю ещё позже одну)
5. NVIDIA Tesla K80 1 шт (докуплю ещё позже одну)
Выйдет без HDD, без контроллера HDD, без корпуса, без БП - около 600к за новьё, но мне кажется, что вещи из пронумерованного списка можно взять даже в б\у состоянии? Сэкономив половину?
0
a_shats
637 / 275 / 63
Регистрация: 11.03.2015
Сообщений: 1,055
03.07.2018, 16:58 #4
RuCode,
620к, как то много. Да она классная и современная, но это слишком дорого.
Тогда Паскали (P4..P100)
Это значит, что на 1 канал ставиться 2 планки памяти?
Нет, может и 3 (когда материнка с 24 слотами). Это значит, что оптимально будет 12 модулей ОЗУ (с т.з. производительности) - на 2-процессорной материнке.
E5-2695v3 на сокет 2011-3 это сильно старьё?
Вопрос софта на 100%. У Скайлейков (Xeon Gold/Platinum) два блока AVX-512, у Хасвеллов (предыдущее ядро, на нем и E5-2695v3) еще AVX2 (не -512). Ну то есть нужных для счета флопсов с процессора радикально меньше - и это вопрос поддержки Вашим софтом конкретных версий расширений AVX.
Кроме того, E5-2695v3 - это еще и куда как более низкие частоты ОЗУ (2133МГц), и меньше каналов к нему.
Смотрите сами.
Тут прикол в том, что CUDA позволяет параллелить одну задачу, xeon phi может крутить разные на каждом ядре одновременно.
Еще раз - вопрос в Вашем софте, CUDA и это тоже умеет, и давно.
Мать Supermicro X10DGQ
И сразу забудьте - эта мать вообще фигово живет вне родных платформ и обвеса, и вообще-то для отдельной жизни не предназначена.
Xeon Phi 7250
Самое интересное - куда Вы будете его совать ? Я ж Вам в предыдущем посте объяснял, что его в PCI-E виде не существует, его суют в LGA3467 и исключительно на заточенные под него платформы - и никак иначе. То есть вообще. Совсем.
NVIDIA Tesla K80
Вот уж точно бессмысленная ныне покупка, разве что по совсем бросовой цене отдадут: дико потребляющая и горячая железка (и снятая с производства). Кроме того, K80 имеют пассивное охлаждение - и сильно не в каждый корпус встанут.
Точнее - встанут-то в любой, но там же моментально и изжарятся.
По уму - нужна платформа типа такой, если под Скайлейки:
https://www.supermicro.com/products/system/4U/7049/SYS-7049GP-TRT.cfm
Если под Ваш б/ушный Haswell - то такая:
https://www.supermicro.com/products/system/4U/7048/SYS-7048GR-TR.cfm
И внимательно смотрите в раздел Spare Parts - нужны и киты (для установки GPU), и заглушки (в отсеки, где GPU нет).
Ну и орать это будет как слон, да.
1
RuCode
52 / 25 / 8
Регистрация: 03.06.2016
Сообщений: 243
04.07.2018, 11:12  [ТС] #5
Во как я от жизни то отстал =\

Цитата Сообщение от a_shats Посмотреть сообщение
Тогда Паскали (P4..P100)
Посмотрю =)

Цитата Сообщение от a_shats Посмотреть сообщение
Нет, может и 3 (когда материнка с 24 слотами). Это значит, что оптимально будет 12 модулей ОЗУ (с т.з. производительности) - на 2-процессорной материнке.
Спасибо, буду знать

Цитата Сообщение от a_shats Посмотреть сообщение
Вопрос софта на 100%. У Скайлейков (Xeon Gold/Platinum) два блока AVX-512, у Хасвеллов (предыдущее ядро, на нем и E5-2695v3) еще AVX2 (не -512). Ну то есть нужных для счета флопсов с процессора радикально меньше - и это вопрос поддержки Вашим софтом конкретных версий расширений AVX.
Скорее всего AVX-512 не нужен, задачи разные будут, нейронные сети, симуляции\моделирование, студенческие поделия, метод монтекарло.

Цитата Сообщение от a_shats Посмотреть сообщение
CUDA и это тоже умеет, и давно.
Даже в Pascal? Если CUDA на такое способна, то XPhi не нужен =\

А про AMD Epyc как считаете? Вроде уже ближе по производительности к Xeon Gold/Platinum, но заметно дешевле. Кстати, 32 ядерная версия ещё не продаётся?
0
dimitriich
485 / 317 / 34
Регистрация: 03.04.2016
Сообщений: 1,398
04.07.2018, 11:44 #6
Цитата Сообщение от RuCode Посмотреть сообщение
Кстати, 32 ядерная версия ещё не продаётся?
Обычный threadripper 2 через месяц-два выкатят.
0
a_shats
637 / 275 / 63
Регистрация: 11.03.2015
Сообщений: 1,055
06.07.2018, 13:11 #7
RuCode,
Про EPYC считаю - замечательно, не просто "ближе", а в ряде задач и лучше. 32-ядерная версия вполне себе продается.
https://www.amd.com/ru/products/epyc...фикации-модели
И да, супермикровские платформы под них тоже есть, но, разумеется, их сильно меньше:
https://www.supermicro.com/Aplus/system/Tower/4023/AS-4023S-TRT.cfm
И они не поддерживают GPU с пассивным охлаждением, только с активным.
0
RuCode
52 / 25 / 8
Регистрация: 03.06.2016
Сообщений: 243
07.07.2018, 09:07  [ТС] #8
Вах какая красота =) Только 32 ядра пока все равно не вижу в продаже
0
a_shats
637 / 275 / 63
Регистрация: 11.03.2015
Сообщений: 1,055
09.07.2018, 11:32 #9
RuCode,
Они на заказ, как правило.
0
09.07.2018, 11:32
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
09.07.2018, 11:32

сервер,рабочая станция в локальной сети
Здравствуйте! Подскажите, пожалуйста, если использую компьютер в качестве...

Рабочая станция
Здравствуйте. Решил купить б/у компьютер на соответствующем сайте. Надо еще...

Рабочая станция ?
Нужен мощный ноут , типа "рабочая станция", для работы с САПР и 3D,может с...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
9
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
Рейтинг@Mail.ru