Правильное выделение памяти

@ReYalp · Регистрация: 27.12.2017

Студворк — интернет-сервис помощи студентам

Как лучше всего выделять память для клиентов на сервере? Клиент отправляет серверу строку в асинхронно режиме которую он (сервер) должен обработать(к примеру клиент посылает серверу сообщения чтобы тот вывел их на экран), так вот появился вопрос если клиентов много то выделять для каждого нового свой буфер для приёму сообщений как мне кажется это не лучшая идея если смотреть со стороны ресурсов, т.к. если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи?

@eva2326 · 31.05.2019, 14:45

Сообщение от ReYalp

если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи?

Ну так не выделяйте 1024 байт для клиента, который отправит только 10 байт.
Выделяйте 10 байт.

@Undisputed · 31.05.2019, 14:52

Сообщение от Termit779

либо читать прямо из буфера сетевого интерфейса

А как?
Обычно из данные буфера сетевого интерфейса копируются в память программы...
Прежде тоже встречал подобное заявление но примеров не было как впрочем и сейчас... )

@Termit779 · 31.05.2019, 14:56

Сообщение от Undisputed

А как?
Обычно из данные буфера сетевого интерфейса копируются в память программы...
Прежде тоже встречал подобное заявление но примеров не было как впрочем и сейчас... )

Открываем ман по boost::asio и там все написано. Как читать напрямую из буфера, как читать частями, как читать только заголовки стека, как узнать существующую очередь сообщений, как узнать сколько сообщений из очереди дропнуто сетевой картой и т.д.

@Undisputed · 31.05.2019, 15:00

Сообщение от Termit779

Открываем ман по boost::asio и там все написано.

boost::asio это высокоуровневая библиотека.
мне же интересно как это реализовать самому.
причем boost::asio это не только чтение данных от клиента
там много чего есть
было бы хорошо если бы вы показали как можно использовать буфер данных
не прибегая к использованию дополнительного буфера в программе.

надеюсь не будет ответа вроде -> иди и копай все что есть в boost::asio

Добавлено через 52 секунды
темболее в мане...
ман это доки к высокоуровневому интерфейсу
про реализацию там как правило толком ничего

@ReYalp · 31.05.2019, 15:03 **[ТС]**

TRam_, так а если клиентов больше 32?) Зачем мне ограничивать кол-во клиентов?

Добавлено через 2 минуты
eva2326, если
��, я не виду другого способа как узнать размер данных под которые я должен создавать буфер кроме как явно их указывать при отправке с клиента, после читать на сервере это число и создавать соответствующий массив, Вы это имеете ввиду?

@Toshkarik · 31.05.2019, 15:10

Я просто не могу понять, откуда вы все это берете. Все в кучу перемешали. Кто вам даст читать напрямую из буфера? И из какого буфера то? Вы можете вызвать функцию ( например, recv ) для того, чтоб драйвер протокола ( например, tcp ) из своего буфера записал данные в вашу память. Причем для конкретного сокета ( соединения ). Ни о каком доступе к устройству быть не может на этом уровне. Возможно, стоит почитать про модель OSI и хоть примерно понять, что вообще просходит.

@eva2326 · 31.05.2019, 15:18

Сообщение от ReYalp

Вы это имеете ввиду?

Ага)

Клиент отправляет размер посылки, и следом саму посылку.
И всё это - одним сообщением.

Сервер получает данные.
Он знает, что допустим, первые два байта хранят размер посылки.
Сначала выкачивает эти два байта,
и затем, узнав размер посылки,
выкачивает саму посылку.

По-моему, всё просто))

@oleg-m1973 · 31.05.2019, 15:20

Сообщение от ReYalp

Как лучше всего выделять память для клиентов на сервере? Клиент отправляет серверу строку в асинхронно режиме которую он (сервер) должен обработать(к примеру клиент посылает серверу сообщения чтобы тот вывел их на экран), так вот появился вопрос если клиентов много то выделять для каждого нового свой буфер для приёму сообщений как мне кажется это не лучшая идея если смотреть со стороны ресурсов, т.к. если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи?

Что -то не очень понял - что ты имеешь ввиду под асинхронным режимом?
Обычно в одном потоке ждёшь когда придут данные - select/poll/epoll.
Потом в отдельном потоке для каждого коннекта (вернее в пуле потоков) вычитываешь данные и помещаешь их динамический буфер (обычно в несколько), который удаляешь после обработки
Работа с одим коннектом, получение данных, - всегда синхронная. Держать для него отдельный статический буфер - нет смысла, он и так уже есть

@Toshkarik · 31.05.2019, 15:20

Сообщение от eva2326

Клиент отправляет размер посылки, и следом саму посылку.
И всё это - одним сообщением.
Сервер получает данные.
Он знает, что допустим, первые два байта хранят размер посылки.
Сначала выкачивает эти два байта,
и затем, узнав размер посылки,
выкачивает саму посылку.
По-моему, всё просто))

Не по теме:

Именно это я и предлагал на предыдущей странице, но тут упорно хотят читать различные буферы всяких там карт и протоколов

@ReYalp · 31.05.2019, 15:27 **[ТС]**

Toshkarik, ну я использую порт завершения и пул потоков для обработки полученных данных и асинхронный ввод-вывод с помощью OVERLAPPED событий и WSARecv\Send,когда данные приходят - событие отправляется в очередь порта завершения откуда я могу с помощи GetQueuedCompletionStatus() забирать их и уже обрабатывать.

Добавлено через 1 минуту
Toshkarik,

Сообщение от Toshkarik

Именно это я и предлагал на предыдущей странице, но тут упорно хотят читать различные буферы всяких там карт и протоколов

Я не хочу упорно читатить из буфера карты ,мне интересно как это работает если это на самом деле работает

@Toshkarik · 31.05.2019, 15:35

Сообщение от ReYalp

Я не хочу упорно читатить из буфера карты ,мне интересно как это работает если это на самом деле работает

Я не конкретно про вас, а про направление обсуждения вообще.

Сообщение от ReYalp

мне интересно как это работает если это на самом деле работает

Что именно работает?

Тут важно понимать наверное, что асинхронное и многопоточное это не одно и тоже, хоть и часто используется вместе.

@ReYalp · 31.05.2019, 15:39 **[ТС]**

oleg-m1973,

Сообщение от oleg-m1973

Обычно в одном потоке ждёшь когда придут данные - select/poll/epoll.

Просто как по мне то select/poll/epoll -это все таки синхронный режим т.к. ты всеравно прерываешься на чтение из сетевого буфера ,когда и WSARecv данные приходят сами в буфер программы

Сообщение от ReYalp

ну я использую порт завершения и пул потоков для обработки полученных данных и асинхронный ввод-вывод с помощью OVERLAPPED событий и WSARecv\Send,когда данные приходят - событие отправляется в очередь порта завершения откуда я могу с помощи GetQueuedCompletionStatus() забирать их и уже обрабатывать.

это сообщение Вам предназначалось

Добавлено через 2 минуты
Toshkarik, я понимаю разницу между асинхронным и многопоточным ,просто если кто-то говорит что можно не создавать буфер для клиентов а сразу обрабатывать с сетевого то интересно как это работает ,потому что это бы существенно упростило задачу

@oleg-m1973 · 31.05.2019, 16:00

Сообщение от ReYalp

Просто как по мне то select/poll/epoll -это все таки синхронный режим т.к. ты всеравно прерываешься на чтение из сетевого буфера ,когда и WSARecv данные приходят сами в буфер программы

Нет, это не синхронный режим, это так работают с сокетами. Подозреваю, виндовские overlаpped всё это делают, только ты этого не видишь.

@ReYalp · 31.05.2019, 16:15 **[ТС]**

oleg-m1973, но все же он асинхронный ,он не блокиует поток для того чтобы забрать данные с сетевого драйвера ,да конечно можно создать новый поток но зачем когда на виндовс есть ovelapped структура)

@oleg-m1973 · 31.05.2019, 16:29

Сообщение от ReYalp

oleg-m1973, но все же он асинхронный ,он не блокиует поток для того чтобы забрать данные с сетевого драйвера ,да конечно можно создать новый поток но зачем когда на виндовс есть ovelapped структура)

Я тупо не знаю как работает overlapped.
Да, WSARecv не блокирует поток, в котором ты его вызываешь (Кстати, в каком?).
Но, lpCompletionRoutine наверняка блокирует какой-то поток (и наверняка не лишний), ну и не гарантирует защиты от переполнения буфера сокета.
Т.е. на сервере нужно, чтобы она отрабатывала максимально быстро - просто выделяла буфер, тупо копировала в него данные и ложила этот буфер в очередь.

@Termit779 · 31.05.2019, 16:32

Вот так поток выполнения программы заблокируется

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
void connect()
{
    char buff[1024];
 
    boost::asio::io_context io;
 
    udp::endpoint remoute_endpoint; 
 
    udp::socket sock(io, udp::endpoint(udp::v4(), 5060));   
 
    while (true)
    {
        std::size_t lean = sock.receive_from(boost::asio::buffer(buff),
                                                      remoute_endpoint, udp::socket::message_peek);
//basic_stream_socket :: message_peek Просматривать входящие данные, не удаляя их из входной очереди.
 
        std::cout << lean;
    }
}

А вот так нет

C++
1
2
std::thread start(connect);
start.detach();

@ReYalp · 31.05.2019, 16:33 **[ТС]**

Termit779, в первом случае Вы блокируете основной поток, а во втором - создаёте новый, это же разные вещи

@oleg-m1973 · 31.05.2019, 16:36

Сообщение от Termit779

А вот так нет
C++Выделить код
1
2
std::thread start(connect);
start.detach();

А как ты ждёшь, когда поток start завершится?

@Termit779 · 31.05.2019, 16:39

Сообщение от oleg-m1973

А как ты ждёшь, когда поток start завершится?

Никак не жду. Для завершения в объект посылается сигнал exit(0) и все. Мне не нужно чтоб этот поток завершался никогда. Только при выходе из программы. Ну смысле для моего конкретного случая. Можно и дождаться выполнения жойном в случае автора.

@ReYalp · 31.05.2019, 16:44 **[ТС]**

oleg-m1973, но completion routine это же только метод ожидания событий перехода в сигнальное состояние, в которое они переходят ПОСЛЕ записи уже в буфер программы данных, я его вообще ставлю в 0 т.к. использую порт завершения для этого, вроде так?

Добавлено через 4 минуты
oleg-m1973, точнее даже не так, это колбек который срабатывает когда событие переходит в сигнальное состояние, вроде так насколько я помню, могу ошибаться

Новые блоги и статьи Все статьи Все блоги /
Транслитерация текста с кириллицы на латиницу (вариант №2) Maks 13.11.2026 Обновленная версия ранее созданной обработки. Добавлено: - Проверка исходного текста на кириллицу, через обращение к стандартной функции "ТолькоКириллицаВСтроке" из общего модуля. . .	Часы с термометром и праздничным календарем yariko 12.11.2026 Сегодня мы рассмотрим как можно сделать отличные многофункциональные часы. Итак, поставим конкретную задачу: разработать часы с календарем, двумя термодатчиками, выводом поздравительных сообщений. . .	Транслитерация текста с кириллицы на латиницу (вариант №1) Maks 11.11.2026 Решил облегчить жизнь себе и коллегам админам при создании электронных почтовых ящиков для пользователей, в результате написал обработку "Транслитерация текста" с кириллицы на латиницу, а в ней. . .	Книги по геймдизайну, левел-дизайну, игровым механикам и проектированию игрового опыта 8Observer8 08.11.2026 Содержание блога \| English Version 1. 2003 - 06 - Designing Virtual Worlds (1st Edition) Автор: Richard A. Bartle \| Объем: 768 стр. Ссылки: Amazon . . .
Родители токсичные абьюзеры по отношению к своим детям ругают их оскорбляют не любят zorxor 08.11.2026 Жить в атмосфере постоянных оскорблений, критики и холодности со стороны родителей — это тяжелое и болезненное испытание, которое оставляет глубокие эмоциональные раны. Токсичное и абьюзивное. . .	Как только я захожу к себе в свою комнату я сразу же с себя снимаю свои трусы. Ответ от Джемени ИИ. zorxor 08.11.2026 Джемени, как только я захожу к себе в свою комнату я сразу же с себя снимаю свои трусы. Многие люди, возвращаясь домой, сразу переодеваются в максимально свободную одежду или вовсе предпочитают. . .	Паттерн очереди действий/команд (Action / Command Queue). Система очереди действий и кат-сцен с SDL3 Callbacks, cglm и OpenGL 8Observer8 07.11.2026 Содержание блога \| English Version Руководство для начинающих по реализации паттерна очереди действий/ команд (Action / Command Queue) на C++ (C++20) с использованием официального SDL3 Callbacks. . .	Проверка полного ФИО в типовом справочнике Maks 07.11.2026 Решение реализовано в конфигурации КА2, на примере справочника "КонтактныеЛицаПартнеров". Задача: Запрет инициалов. Не допускаеть использование сокращений вида "И. И. ", "И. И. ", "И И" и. . .

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484

	Правильное выделение памяти 31.05.2019, 01:37. Показов 5365. Ответов 70 Метки нет (Все метки) Как лучше всего выделять память для клиентов на сервере? Клиент отправляет серверу строку в асинхронно режиме которую он (сервер) должен обработать(к примеру клиент посылает серверу сообщения чтобы тот вывел их на экран), так вот появился вопрос если клиентов много то выделять для каждого нового свой буфер для приёму сообщений как мне кажется это не лучшая идея если смотреть со стороны ресурсов, т.к. если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи? 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 15:03 [ТС]
	TRam_, так а если клиентов больше 32?) Зачем мне ограничивать кол-во клиентов? Добавлено через 2 минуты eva2326, если ��, я не виду другого способа как узнать размер данных под которые я должен создавать буфер кроме как явно их указывать при отправке с клиента, после читать на сервере это число и создавать соответствующий массив, Вы это имеете ввиду? 0

@Toshkarik 1181 / 894 / 94 Регистрация: 03.08.2011 Сообщений: 2,461
	31.05.2019, 15:10
	Я просто не могу понять, откуда вы все это берете. Все в кучу перемешали. Кто вам даст читать напрямую из буфера? И из какого буфера то? Вы можете вызвать функцию ( например, recv ) для того, чтоб драйвер протокола ( например, tcp ) из своего буфера записал данные в вашу память. Причем для конкретного сокета ( соединения ). Ни о каком доступе к устройству быть не может на этом уровне. Возможно, стоит почитать про модель OSI и хоть примерно понять, что вообще просходит. 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 16:15 [ТС]
	oleg-m1973, но все же он асинхронный ,он не блокиует поток для того чтобы забрать данные с сетевого драйвера ,да конечно можно создать новый поток но зачем когда на виндовс есть ovelapped структура) 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 16:33 [ТС]
	Termit779, в первом случае Вы блокируете основной поток, а во втором - создаёте новый, это же разные вещи 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 16:44 [ТС]
	oleg-m1973, но completion routine это же только метод ожидания событий перехода в сигнальное состояние, в которое они переходят ПОСЛЕ записи уже в буфер программы данных, я его вообще ставлю в 0 т.к. использую порт завершения для этого, вроде так? Добавлено через 4 минуты oleg-m1973, точнее даже не так, это колбек который срабатывает когда событие переходит в сигнальное состояние, вроде так насколько я помню, могу ошибаться 0