|
|
Распределение нагрузки15.02.2020, 17:10. Показов 2469. Ответов 18
Метки нет (Все метки)
2)имеются 2 тэрабайта данных, данные иногда добавляются по ftp Какие есть подходы, дельный статьи для решение этой задачи, как можно использовать сервера с количеством диского пространства 400 гб, 150гб? Есть какие-то готовые решения, не только на java? Добавлено через 9 минут Необходимо чтобы нагрузка(отдача) распределялась равномерно,а то получается , что основной сервер постоянно под нагрузкой
0
|
|
(| 15.02.2020, 17:10 | |
|
Ответы с готовыми решениями:
18
Java, 100% нагрузки CPU Распределение нагрузки по ядрам Распределение учебной нагрузки |
 3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
|
|
| 15.02.2020, 19:25 | |
|
какая нагрузка, какая отдача, чо за машины
0
|
|
|
|
|
| 15.02.2020, 19:30 [ТС] | |
|
1)отдает файлы
2)нагрузка на канал из-за трафика 3)линукс
0
|
|
|
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
|
|
| 15.02.2020, 21:17 | |
|
а ява тут причем?
0
|
|
|
|
|
| 15.02.2020, 22:17 [ТС] | |
|
1)я к этой области ближе всего, а где узнать то лучше, думаю что здесь есть опыт такой
0
|
|
|
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
|
|
| 15.02.2020, 23:12 | |
|
Ты так и не объяснил чего тебе конкретно надо. Есть какие-то файлы их надо отдавать. В чем проблема? Зачем несколько серверов? Один не справляется? Как определил?
0
|
|
|
|
|
| 15.02.2020, 23:15 [ТС] | |
|
1)канал забит , по статистике определил
2)ну и по скорости отдачи в браузере я прикинул, что как-то можно часть файлов закинуть на другие сервера, вопрос что-то готовые имеется, в плане балансировки отдачи или кэширинга файлов(что-нибудь готовое)?
0
|
|
|
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
|
|
| 16.02.2020, 01:51 | |
|
Google distributed file server например
0
|
|
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
|
|
| 16.02.2020, 21:12 | |
|
Если у тебя лимит канала, то хоть ты 100 серверов повесь, канал к юзеру тот же самый. Для Кеша статики есть дофига решений. Например akamai. Динамически поднимает кешинг прокси в регионах откуда есть много запросов.
0
|
|
|
|
||
| 16.02.2020, 23:04 [ТС] | ||
|
у меня разные сервера с отдельными каналами, я так понимаю на hadoop можно распределить файлы
Добавлено через 2 минуты
Добавлено через 5 минут у меня имеются сервера, я подозреваю это дешевле чем akamai по отдаче, + внутренее использование серверов Добавлено через 1 минуту https://selectel.ru/services/additional/cdn/ хотя я нашел что-то, надо посчитать
0
|
||
Сообщение от KEKCoGEN
|
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
|
|
| 16.02.2020, 23:27 | |
|
snajper_ro, каналы отдельные это внутренняя сеть. Наружу к юзеру обычно чрез один лоад балансер идёт трафик. Внутренние каналы намного шире чем до юзера, поэтому я сомневаюсь что проблема вообще такая, как ты ее описываешь. Hadoop это вообще не о том что тебе нужно...
Судя по тому что ты приплел сюда Hadoop, ты плохо понимаешь о чем речь вообще...
0
|
|
|
|
|
| 17.02.2020, 10:13 [ТС] | |
|
1)значит у меня есть 4 сервера, каждый сервер отдает 1000 мбит
2)2 загружены по максимум, остальные 2 которые так-же могут выдать такую мощность -нет, так как там не все файлы, диск меньше 3)я не хочу дублировать данные, я хочу размазать данные на 4 серверах 4)hadoop имеет HDFS, и с помощью его можно размещать файлы , я так понимаю можно купить равные 4 сервера с кажем по 1 тб каждый и разместив файлы отдавать их 5)идея мая как можно распредеить раздачу 2 тб данных с нескольких серверов, но я не хочу покупать сервера с жесткими на 4 тб, чтобы не дублировать данные Добавлено через 2 минуты а)либо как-то разделять данные между серверами, один кластер б)либо сделать временный кэш, где в роли мастер сервера будет один 1)вот меня интересует как решается задача, варианты есть, хочу посоветоваться с вами 2)опен сорсе решения
0
|
|
|
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
|
||
| 17.02.2020, 11:38 | ||
Тебе нужно одно хранилище, которое доступно на всех серверах. Такое хранилище это например GlusterFS либо просто сетевой диск замаунтеный на каждый из серверов. 100мбит это я так понимаю канал наружу. Локальная сеть намного быстрее, поэтому с передачей данных с сетевого диска проблем не будет. Само собой диск нужен SSD если данные "горячие" и запрашиваются часто иначе узким местом системы будет диск. Идеальное решение этой задачи - кешинг сервисы (такие как akamai). Они специально созданны чтобы решать задачи такого рода. На своих серверах ты никогда не достигнешь такого качества как у них т.к они поднимают свои сервера ближе (в параметрах физического расстояния) к конечным юзерам.
0
|
||
|
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
|
|
| 17.02.2020, 13:08 | |
|
а что там за данные у тебя? порнушку раздаешь чтоли?
1
|
|
|
|
|
| 17.02.2020, 13:10 [ТС] | |
|
сорри братан, это не ко мне, игровые файлы
0
|
|
| 17.02.2020, 19:28 | |
|
Не по теме: snajper_ro, а жаль
0
|
|
|
|
||
| 18.02.2020, 14:05 [ТС] | ||
+ у тебя будут сервера буду пробывать https://ru.wikipedia.org/wiki/GlusterFS
0
|
||
|
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
|
||
| 19.02.2020, 10:45 | ||
0
|
||
|
|
|
| 19.02.2020, 10:47 [ТС] | |
|
я не про покупку, я арендую
0
|
|
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
| 19.02.2020, 10:47 | |
|
Помогаю со студенческими работами здесь
19
Распределение нагрузки на проц
Распределение Нагрузки В Кластере Распределение нагрузки серверов Преподаватели кафедры: распределение нагрузки Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма).
На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
|
Первый деплой
lagorue 16.01.2026
Не спеша развернул своё 1ое приложение в kubernetes.
А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения
развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .
|
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ *
Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам
Кирхгофа, решает её и находит:
токи, напряжения и их 1 и 2 производные при t = 0;. . .
|
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым.
Но восстановить их можно так.
Для этого понадобится консольная утилита. . .
|
|
Изучаю kubernetes
lagorue 13.01.2026
А пригодятся-ли мне знания kubernetes в России?
|
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
|
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11
— это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
|
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11
Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
|
Наверх