|
|
Распределение нагрузки15.02.2020, 17:10. Показов 2501. Ответов 18
Метки нет (Все метки)
2)имеются 2 тэрабайта данных, данные иногда добавляются по ftp Какие есть подходы, дельный статьи для решение этой задачи, как можно использовать сервера с количеством диского пространства 400 гб, 150гб? Есть какие-то готовые решения, не только на java? Добавлено через 9 минут Необходимо чтобы нагрузка(отдача) распределялась равномерно,а то получается , что основной сервер постоянно под нагрузкой
0
|
|
(| 15.02.2020, 17:10 | |
|
Ответы с готовыми решениями:
18
Java, 100% нагрузки CPU Распределение нагрузки по ядрам Распределение учебной нагрузки |
 3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
|
|
| 15.02.2020, 19:25 | |
|
какая нагрузка, какая отдача, чо за машины
0
|
|
|
|
|
| 15.02.2020, 19:30 [ТС] | |
|
1)отдает файлы
2)нагрузка на канал из-за трафика 3)линукс
0
|
|
|
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
|
|
| 15.02.2020, 21:17 | |
|
а ява тут причем?
0
|
|
|
|
|
| 15.02.2020, 22:17 [ТС] | |
|
1)я к этой области ближе всего, а где узнать то лучше, думаю что здесь есть опыт такой
0
|
|
|
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
|
|
| 15.02.2020, 23:12 | |
|
Ты так и не объяснил чего тебе конкретно надо. Есть какие-то файлы их надо отдавать. В чем проблема? Зачем несколько серверов? Один не справляется? Как определил?
0
|
|
|
|
|
| 15.02.2020, 23:15 [ТС] | |
|
1)канал забит , по статистике определил
2)ну и по скорости отдачи в браузере я прикинул, что как-то можно часть файлов закинуть на другие сервера, вопрос что-то готовые имеется, в плане балансировки отдачи или кэширинга файлов(что-нибудь готовое)?
0
|
|
|
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
|
|
| 16.02.2020, 01:51 | |
|
Google distributed file server например
0
|
|
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
|
|
| 16.02.2020, 21:12 | |
|
Если у тебя лимит канала, то хоть ты 100 серверов повесь, канал к юзеру тот же самый. Для Кеша статики есть дофига решений. Например akamai. Динамически поднимает кешинг прокси в регионах откуда есть много запросов.
0
|
|
|
|
||
| 16.02.2020, 23:04 [ТС] | ||
|
у меня разные сервера с отдельными каналами, я так понимаю на hadoop можно распределить файлы
Добавлено через 2 минуты
Добавлено через 5 минут у меня имеются сервера, я подозреваю это дешевле чем akamai по отдаче, + внутренее использование серверов Добавлено через 1 минуту https://selectel.ru/services/additional/cdn/ хотя я нашел что-то, надо посчитать
0
|
||
Сообщение от KEKCoGEN
|
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
|
|
| 16.02.2020, 23:27 | |
|
snajper_ro, каналы отдельные это внутренняя сеть. Наружу к юзеру обычно чрез один лоад балансер идёт трафик. Внутренние каналы намного шире чем до юзера, поэтому я сомневаюсь что проблема вообще такая, как ты ее описываешь. Hadoop это вообще не о том что тебе нужно...
Судя по тому что ты приплел сюда Hadoop, ты плохо понимаешь о чем речь вообще...
0
|
|
|
|
|
| 17.02.2020, 10:13 [ТС] | |
|
1)значит у меня есть 4 сервера, каждый сервер отдает 1000 мбит
2)2 загружены по максимум, остальные 2 которые так-же могут выдать такую мощность -нет, так как там не все файлы, диск меньше 3)я не хочу дублировать данные, я хочу размазать данные на 4 серверах 4)hadoop имеет HDFS, и с помощью его можно размещать файлы , я так понимаю можно купить равные 4 сервера с кажем по 1 тб каждый и разместив файлы отдавать их 5)идея мая как можно распредеить раздачу 2 тб данных с нескольких серверов, но я не хочу покупать сервера с жесткими на 4 тб, чтобы не дублировать данные Добавлено через 2 минуты а)либо как-то разделять данные между серверами, один кластер б)либо сделать временный кэш, где в роли мастер сервера будет один 1)вот меня интересует как решается задача, варианты есть, хочу посоветоваться с вами 2)опен сорсе решения
0
|
|
|
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
|
||
| 17.02.2020, 11:38 | ||
Тебе нужно одно хранилище, которое доступно на всех серверах. Такое хранилище это например GlusterFS либо просто сетевой диск замаунтеный на каждый из серверов. 100мбит это я так понимаю канал наружу. Локальная сеть намного быстрее, поэтому с передачей данных с сетевого диска проблем не будет. Само собой диск нужен SSD если данные "горячие" и запрашиваются часто иначе узким местом системы будет диск. Идеальное решение этой задачи - кешинг сервисы (такие как akamai). Они специально созданны чтобы решать задачи такого рода. На своих серверах ты никогда не достигнешь такого качества как у них т.к они поднимают свои сервера ближе (в параметрах физического расстояния) к конечным юзерам.
0
|
||
|
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
|
|
| 17.02.2020, 13:08 | |
|
а что там за данные у тебя? порнушку раздаешь чтоли?
1
|
|
|
|
|
| 17.02.2020, 13:10 [ТС] | |
|
сорри братан, это не ко мне, игровые файлы
0
|
|
| 17.02.2020, 19:28 | |
|
Не по теме: snajper_ro, а жаль
0
|
|
|
|
||
| 18.02.2020, 14:05 [ТС] | ||
+ у тебя будут сервера буду пробывать https://ru.wikipedia.org/wiki/GlusterFS
0
|
||
|
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
|
||
| 19.02.2020, 10:45 | ||
0
|
||
|
|
|
| 19.02.2020, 10:47 [ТС] | |
|
я не про покупку, я арендую
0
|
|
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
| 19.02.2020, 10:47 | |
|
Помогаю со студенческими работами здесь
19
Распределение нагрузки на проц
Распределение Нагрузки В Кластере Распределение нагрузки серверов Преподаватели кафедры: распределение нагрузки Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Переходник USB-CAN-GPIO
Eddy_Em 20.03.2026
Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .
|
Оттенки серого
Argus19 18.03.2026
Оттенки серого
Нашёл в интернете 3 прекрасных модуля:
Модуль класса открытия диалога открытия/ сохранения файла на Win32 API;
Модуль класса быстрого перекодирования цветного изображения в оттенки. . .
|
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++
8Observer8 17.03.2026
Содержание блога
Финальные проекты на Си и на C++:
finish-rectangles-sdl3-c. zip
finish-rectangles-sdl3-cpp. zip
|
Символические и жёсткие ссылки в Linux.
algri14 15.03.2026
Существует два типа ссылок — символические и жёсткие.
Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .
|
|
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ФедосеевПавел 14.03.2026
Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ВВЕДЕНИЕ
Выполняя задание на управление насосной группой заполнения резервуара,. . .
|
делаю науч статью по влиянию грибов на сукцессию
anaschu 13.03.2026
прикрепляю статью
|
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++
8Observer8 10.03.2026
Содержание блога
Финальные проекты на Си и на C++:
hello-sdl3-c. zip
hello-sdl3-cpp. zip
Результат:
|
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE
8Observer8 10.03.2026
Содержание блога
MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
|
Наверх