Правильное выделение памяти

@ReYalp · Регистрация: 27.12.2017

Студворк — интернет-сервис помощи студентам

Как лучше всего выделять память для клиентов на сервере? Клиент отправляет серверу строку в асинхронно режиме которую он (сервер) должен обработать(к примеру клиент посылает серверу сообщения чтобы тот вывел их на экран), так вот появился вопрос если клиентов много то выделять для каждого нового свой буфер для приёму сообщений как мне кажется это не лучшая идея если смотреть со стороны ресурсов, т.к. если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи?

@eva2326 · 31.05.2019, 14:45

Сообщение от ReYalp

если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи?

Ну так не выделяйте 1024 байт для клиента, который отправит только 10 байт.
Выделяйте 10 байт.

@Undisputed · 31.05.2019, 14:52

Сообщение от Termit779

либо читать прямо из буфера сетевого интерфейса

А как?
Обычно из данные буфера сетевого интерфейса копируются в память программы...
Прежде тоже встречал подобное заявление но примеров не было как впрочем и сейчас... )

@Termit779 · 31.05.2019, 14:56

Сообщение от Undisputed

А как?
Обычно из данные буфера сетевого интерфейса копируются в память программы...
Прежде тоже встречал подобное заявление но примеров не было как впрочем и сейчас... )

Открываем ман по boost::asio и там все написано. Как читать напрямую из буфера, как читать частями, как читать только заголовки стека, как узнать существующую очередь сообщений, как узнать сколько сообщений из очереди дропнуто сетевой картой и т.д.

@Undisputed · 31.05.2019, 15:00

Сообщение от Termit779

Открываем ман по boost::asio и там все написано.

boost::asio это высокоуровневая библиотека.
мне же интересно как это реализовать самому.
причем boost::asio это не только чтение данных от клиента
там много чего есть
было бы хорошо если бы вы показали как можно использовать буфер данных
не прибегая к использованию дополнительного буфера в программе.

надеюсь не будет ответа вроде -> иди и копай все что есть в boost::asio

Добавлено через 52 секунды
темболее в мане...
ман это доки к высокоуровневому интерфейсу
про реализацию там как правило толком ничего

@ReYalp · 31.05.2019, 15:03 **[ТС]**

TRam_, так а если клиентов больше 32?) Зачем мне ограничивать кол-во клиентов?

Добавлено через 2 минуты
eva2326, если
��, я не виду другого способа как узнать размер данных под которые я должен создавать буфер кроме как явно их указывать при отправке с клиента, после читать на сервере это число и создавать соответствующий массив, Вы это имеете ввиду?

@Toshkarik · 31.05.2019, 15:10

Я просто не могу понять, откуда вы все это берете. Все в кучу перемешали. Кто вам даст читать напрямую из буфера? И из какого буфера то? Вы можете вызвать функцию ( например, recv ) для того, чтоб драйвер протокола ( например, tcp ) из своего буфера записал данные в вашу память. Причем для конкретного сокета ( соединения ). Ни о каком доступе к устройству быть не может на этом уровне. Возможно, стоит почитать про модель OSI и хоть примерно понять, что вообще просходит.

@eva2326 · 31.05.2019, 15:18

Сообщение от ReYalp

Вы это имеете ввиду?

Ага)

Клиент отправляет размер посылки, и следом саму посылку.
И всё это - одним сообщением.

Сервер получает данные.
Он знает, что допустим, первые два байта хранят размер посылки.
Сначала выкачивает эти два байта,
и затем, узнав размер посылки,
выкачивает саму посылку.

По-моему, всё просто))

@oleg-m1973 · 31.05.2019, 15:20

Сообщение от ReYalp

Как лучше всего выделять память для клиентов на сервере? Клиент отправляет серверу строку в асинхронно режиме которую он (сервер) должен обработать(к примеру клиент посылает серверу сообщения чтобы тот вывел их на экран), так вот появился вопрос если клиентов много то выделять для каждого нового свой буфер для приёму сообщений как мне кажется это не лучшая идея если смотреть со стороны ресурсов, т.к. если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи?

Что -то не очень понял - что ты имеешь ввиду под асинхронным режимом?
Обычно в одном потоке ждёшь когда придут данные - select/poll/epoll.
Потом в отдельном потоке для каждого коннекта (вернее в пуле потоков) вычитываешь данные и помещаешь их динамический буфер (обычно в несколько), который удаляешь после обработки
Работа с одим коннектом, получение данных, - всегда синхронная. Держать для него отдельный статический буфер - нет смысла, он и так уже есть

@Toshkarik · 31.05.2019, 15:20

Сообщение от eva2326

Клиент отправляет размер посылки, и следом саму посылку.
И всё это - одним сообщением.
Сервер получает данные.
Он знает, что допустим, первые два байта хранят размер посылки.
Сначала выкачивает эти два байта,
и затем, узнав размер посылки,
выкачивает саму посылку.
По-моему, всё просто))

Не по теме:

Именно это я и предлагал на предыдущей странице, но тут упорно хотят читать различные буферы всяких там карт и протоколов

@ReYalp · 31.05.2019, 15:27 **[ТС]**

Toshkarik, ну я использую порт завершения и пул потоков для обработки полученных данных и асинхронный ввод-вывод с помощью OVERLAPPED событий и WSARecv\Send,когда данные приходят - событие отправляется в очередь порта завершения откуда я могу с помощи GetQueuedCompletionStatus() забирать их и уже обрабатывать.

Добавлено через 1 минуту
Toshkarik,

Сообщение от Toshkarik

Именно это я и предлагал на предыдущей странице, но тут упорно хотят читать различные буферы всяких там карт и протоколов

Я не хочу упорно читатить из буфера карты ,мне интересно как это работает если это на самом деле работает

@Toshkarik · 31.05.2019, 15:35

Сообщение от ReYalp

Я не хочу упорно читатить из буфера карты ,мне интересно как это работает если это на самом деле работает

Я не конкретно про вас, а про направление обсуждения вообще.

Сообщение от ReYalp

мне интересно как это работает если это на самом деле работает

Что именно работает?

Тут важно понимать наверное, что асинхронное и многопоточное это не одно и тоже, хоть и часто используется вместе.

@ReYalp · 31.05.2019, 15:39 **[ТС]**

oleg-m1973,

Сообщение от oleg-m1973

Обычно в одном потоке ждёшь когда придут данные - select/poll/epoll.

Просто как по мне то select/poll/epoll -это все таки синхронный режим т.к. ты всеравно прерываешься на чтение из сетевого буфера ,когда и WSARecv данные приходят сами в буфер программы

Сообщение от ReYalp

ну я использую порт завершения и пул потоков для обработки полученных данных и асинхронный ввод-вывод с помощью OVERLAPPED событий и WSARecv\Send,когда данные приходят - событие отправляется в очередь порта завершения откуда я могу с помощи GetQueuedCompletionStatus() забирать их и уже обрабатывать.

это сообщение Вам предназначалось

Добавлено через 2 минуты
Toshkarik, я понимаю разницу между асинхронным и многопоточным ,просто если кто-то говорит что можно не создавать буфер для клиентов а сразу обрабатывать с сетевого то интересно как это работает ,потому что это бы существенно упростило задачу

@oleg-m1973 · 31.05.2019, 16:00

Сообщение от ReYalp

Просто как по мне то select/poll/epoll -это все таки синхронный режим т.к. ты всеравно прерываешься на чтение из сетевого буфера ,когда и WSARecv данные приходят сами в буфер программы

Нет, это не синхронный режим, это так работают с сокетами. Подозреваю, виндовские overlаpped всё это делают, только ты этого не видишь.

@ReYalp · 31.05.2019, 16:15 **[ТС]**

oleg-m1973, но все же он асинхронный ,он не блокиует поток для того чтобы забрать данные с сетевого драйвера ,да конечно можно создать новый поток но зачем когда на виндовс есть ovelapped структура)

@oleg-m1973 · 31.05.2019, 16:29

Сообщение от ReYalp

oleg-m1973, но все же он асинхронный ,он не блокиует поток для того чтобы забрать данные с сетевого драйвера ,да конечно можно создать новый поток но зачем когда на виндовс есть ovelapped структура)

Я тупо не знаю как работает overlapped.
Да, WSARecv не блокирует поток, в котором ты его вызываешь (Кстати, в каком?).
Но, lpCompletionRoutine наверняка блокирует какой-то поток (и наверняка не лишний), ну и не гарантирует защиты от переполнения буфера сокета.
Т.е. на сервере нужно, чтобы она отрабатывала максимально быстро - просто выделяла буфер, тупо копировала в него данные и ложила этот буфер в очередь.

@Termit779 · 31.05.2019, 16:32

Вот так поток выполнения программы заблокируется

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
void connect()
{
    char buff[1024];
 
    boost::asio::io_context io;
 
    udp::endpoint remoute_endpoint; 
 
    udp::socket sock(io, udp::endpoint(udp::v4(), 5060));   
 
    while (true)
    {
        std::size_t lean = sock.receive_from(boost::asio::buffer(buff),
                                                      remoute_endpoint, udp::socket::message_peek);
//basic_stream_socket :: message_peek Просматривать входящие данные, не удаляя их из входной очереди.
 
        std::cout << lean;
    }
}

А вот так нет

C++
1
2
std::thread start(connect);
start.detach();

@ReYalp · 31.05.2019, 16:33 **[ТС]**

Termit779, в первом случае Вы блокируете основной поток, а во втором - создаёте новый, это же разные вещи

@oleg-m1973 · 31.05.2019, 16:36

Сообщение от Termit779

А вот так нет
C++Выделить код
1
2
std::thread start(connect);
start.detach();

А как ты ждёшь, когда поток start завершится?

@Termit779 · 31.05.2019, 16:39

Сообщение от oleg-m1973

А как ты ждёшь, когда поток start завершится?

Никак не жду. Для завершения в объект посылается сигнал exit(0) и все. Мне не нужно чтоб этот поток завершался никогда. Только при выходе из программы. Ну смысле для моего конкретного случая. Можно и дождаться выполнения жойном в случае автора.

@ReYalp · 31.05.2019, 16:44 **[ТС]**

oleg-m1973, но completion routine это же только метод ожидания событий перехода в сигнальное состояние, в которое они переходят ПОСЛЕ записи уже в буфер программы данных, я его вообще ставлю в 0 т.к. использую порт завершения для этого, вроде так?

Добавлено через 4 минуты
oleg-m1973, точнее даже не так, это колбек который срабатывает когда событие переходит в сигнальное состояние, вроде так насколько я помню, могу ошибаться

Новые блоги и статьи Все статьи Все блоги /
интеграция AnyLogic с самописным REST API и переход на Odoo anaschu 03.07.2026 Успешная интеграция AnyLogic с самописным REST API и переход на промышленную Odoo WMS Сегодня проделал огромный путь от простой симуляции физических процессов до построения полноценной. . .	Поиск всех путей на ориентированном графе. Linux dcc0 02.07.2026 Переработка старого кода из моей статьи. Через несколько переработок от PHP кода к C89 (надеюсь, 89). Но довольно запутанно получилось. Код для Linux. Но если убрать time и то, что с ним. . .	Сам себя обучал rest api anaschu 02.07.2026 Педагогический лайфхак: Почему чистый REST API для ученика намного круче, чем готовые библиотеки Когда мы отказались от капризного JAR-файла AnyLogic и переписали код на стандартный HttpClient,. . .	rest api anylogic - выполнение модели на своём русском сайте anaschu 02.07.2026 Как подружиться с AnyLogic Cloud API, победить провайдеров и развернуться Java-бэкенд в Docker на бесплатном хостинге: Двухдневный лог борьбы Всем привет! Хочу поделиться свежим (и довольно. . .
Где деньги лежат kumehtar 02.07.2026 Это - японская подводная лодка I-52 (тип C2, кодовое имя Momi) вышла из Японии в марте 1944 года с миссией в оккупированную немцами Францию (Лорьян). Это была одна из «Янаги»-миссий по обмену. . .	Krabik для WoW 3.3.5a, многоязычный AmbA 02.07.2026 Допилил бота, думаю что окончательно. Изменения: - добавлена многоязычность - добавлено снятие скриншотов - добавлено поддержание бафов хождения по воде (для жреца, дк и шамана) - и так, по. . .	Алиса нашла кучу ошибок компиляции и запуска в проекте, который без проблем компилировался и запускался))) anaschu 30.06.2026 Я пока посмеюся, но завтра проверю. А вообще интерсно. Дал алисе файл, в котором точно нет ошибок компиляции и запуска, и попросил их найти. Нашла кучу))) Критические ошибки, мешающие компиляции и. . .	сукцессия 16. Общий обзор, в основном что бы другие ии поняли anaschu 29.06.2026 # Передаточный документ: модель микоризной сукцессии (для нового чата) Этот документ предназначен для того, чтобы новый чат Claude мог продолжить работу без необходимости заново разбираться в. . .

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484

	Правильное выделение памяти 31.05.2019, 01:37. Показов 5006. Ответов 70 Метки нет (Все метки) Как лучше всего выделять память для клиентов на сервере? Клиент отправляет серверу строку в асинхронно режиме которую он (сервер) должен обработать(к примеру клиент посылает серверу сообщения чтобы тот вывел их на экран), так вот появился вопрос если клиентов много то выделять для каждого нового свой буфер для приёму сообщений как мне кажется это не лучшая идея если смотреть со стороны ресурсов, т.к. если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи? 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 15:03 [ТС]
	TRam_, так а если клиентов больше 32?) Зачем мне ограничивать кол-во клиентов? Добавлено через 2 минуты eva2326, если ��, я не виду другого способа как узнать размер данных под которые я должен создавать буфер кроме как явно их указывать при отправке с клиента, после читать на сервере это число и создавать соответствующий массив, Вы это имеете ввиду? 0

@Toshkarik 1181 / 894 / 94 Регистрация: 03.08.2011 Сообщений: 2,461
	31.05.2019, 15:10
	Я просто не могу понять, откуда вы все это берете. Все в кучу перемешали. Кто вам даст читать напрямую из буфера? И из какого буфера то? Вы можете вызвать функцию ( например, recv ) для того, чтоб драйвер протокола ( например, tcp ) из своего буфера записал данные в вашу память. Причем для конкретного сокета ( соединения ). Ни о каком доступе к устройству быть не может на этом уровне. Возможно, стоит почитать про модель OSI и хоть примерно понять, что вообще просходит. 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 16:15 [ТС]
	oleg-m1973, но все же он асинхронный ,он не блокиует поток для того чтобы забрать данные с сетевого драйвера ,да конечно можно создать новый поток но зачем когда на виндовс есть ovelapped структура) 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 16:33 [ТС]
	Termit779, в первом случае Вы блокируете основной поток, а во втором - создаёте новый, это же разные вещи 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 16:44 [ТС]
	oleg-m1973, но completion routine это же только метод ожидания событий перехода в сигнальное состояние, в которое они переходят ПОСЛЕ записи уже в буфер программы данных, я его вообще ставлю в 0 т.к. использую порт завершения для этого, вроде так? Добавлено через 4 минуты oleg-m1973, точнее даже не так, это колбек который срабатывает когда событие переходит в сигнальное состояние, вроде так насколько я помню, могу ошибаться 0