Правильное выделение памяти

@ReYalp · Регистрация: 27.12.2017

Студворк — интернет-сервис помощи студентам

Как лучше всего выделять память для клиентов на сервере? Клиент отправляет серверу строку в асинхронно режиме которую он (сервер) должен обработать(к примеру клиент посылает серверу сообщения чтобы тот вывел их на экран), так вот появился вопрос если клиентов много то выделять для каждого нового свой буфер для приёму сообщений как мне кажется это не лучшая идея если смотреть со стороны ресурсов, т.к. если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи?

@eva2326 · 31.05.2019, 14:45

Сообщение от ReYalp

если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи?

Ну так не выделяйте 1024 байт для клиента, который отправит только 10 байт.
Выделяйте 10 байт.

@Undisputed · 31.05.2019, 14:52

Сообщение от Termit779

либо читать прямо из буфера сетевого интерфейса

А как?
Обычно из данные буфера сетевого интерфейса копируются в память программы...
Прежде тоже встречал подобное заявление но примеров не было как впрочем и сейчас... )

@Termit779 · 31.05.2019, 14:56

Сообщение от Undisputed

А как?
Обычно из данные буфера сетевого интерфейса копируются в память программы...
Прежде тоже встречал подобное заявление но примеров не было как впрочем и сейчас... )

Открываем ман по boost::asio и там все написано. Как читать напрямую из буфера, как читать частями, как читать только заголовки стека, как узнать существующую очередь сообщений, как узнать сколько сообщений из очереди дропнуто сетевой картой и т.д.

@Undisputed · 31.05.2019, 15:00

Сообщение от Termit779

Открываем ман по boost::asio и там все написано.

boost::asio это высокоуровневая библиотека.
мне же интересно как это реализовать самому.
причем boost::asio это не только чтение данных от клиента
там много чего есть
было бы хорошо если бы вы показали как можно использовать буфер данных
не прибегая к использованию дополнительного буфера в программе.

надеюсь не будет ответа вроде -> иди и копай все что есть в boost::asio

Добавлено через 52 секунды
темболее в мане...
ман это доки к высокоуровневому интерфейсу
про реализацию там как правило толком ничего

@ReYalp · 31.05.2019, 15:03 **[ТС]**

TRam_, так а если клиентов больше 32?) Зачем мне ограничивать кол-во клиентов?

Добавлено через 2 минуты
eva2326, если
��, я не виду другого способа как узнать размер данных под которые я должен создавать буфер кроме как явно их указывать при отправке с клиента, после читать на сервере это число и создавать соответствующий массив, Вы это имеете ввиду?

@Toshkarik · 31.05.2019, 15:10

Я просто не могу понять, откуда вы все это берете. Все в кучу перемешали. Кто вам даст читать напрямую из буфера? И из какого буфера то? Вы можете вызвать функцию ( например, recv ) для того, чтоб драйвер протокола ( например, tcp ) из своего буфера записал данные в вашу память. Причем для конкретного сокета ( соединения ). Ни о каком доступе к устройству быть не может на этом уровне. Возможно, стоит почитать про модель OSI и хоть примерно понять, что вообще просходит.

@eva2326 · 31.05.2019, 15:18

Сообщение от ReYalp

Вы это имеете ввиду?

Ага)

Клиент отправляет размер посылки, и следом саму посылку.
И всё это - одним сообщением.

Сервер получает данные.
Он знает, что допустим, первые два байта хранят размер посылки.
Сначала выкачивает эти два байта,
и затем, узнав размер посылки,
выкачивает саму посылку.

По-моему, всё просто))

@oleg-m1973 · 31.05.2019, 15:20

Сообщение от ReYalp

Как лучше всего выделять память для клиентов на сервере? Клиент отправляет серверу строку в асинхронно режиме которую он (сервер) должен обработать(к примеру клиент посылает серверу сообщения чтобы тот вывел их на экран), так вот появился вопрос если клиентов много то выделять для каждого нового свой буфер для приёму сообщений как мне кажется это не лучшая идея если смотреть со стороны ресурсов, т.к. если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи?

Что -то не очень понял - что ты имеешь ввиду под асинхронным режимом?
Обычно в одном потоке ждёшь когда придут данные - select/poll/epoll.
Потом в отдельном потоке для каждого коннекта (вернее в пуле потоков) вычитываешь данные и помещаешь их динамический буфер (обычно в несколько), который удаляешь после обработки
Работа с одим коннектом, получение данных, - всегда синхронная. Держать для него отдельный статический буфер - нет смысла, он и так уже есть

@Toshkarik · 31.05.2019, 15:20

Сообщение от eva2326

Клиент отправляет размер посылки, и следом саму посылку.
И всё это - одним сообщением.
Сервер получает данные.
Он знает, что допустим, первые два байта хранят размер посылки.
Сначала выкачивает эти два байта,
и затем, узнав размер посылки,
выкачивает саму посылку.
По-моему, всё просто))

Не по теме:

Именно это я и предлагал на предыдущей странице, но тут упорно хотят читать различные буферы всяких там карт и протоколов

@ReYalp · 31.05.2019, 15:27 **[ТС]**

Toshkarik, ну я использую порт завершения и пул потоков для обработки полученных данных и асинхронный ввод-вывод с помощью OVERLAPPED событий и WSARecv\Send,когда данные приходят - событие отправляется в очередь порта завершения откуда я могу с помощи GetQueuedCompletionStatus() забирать их и уже обрабатывать.

Добавлено через 1 минуту
Toshkarik,

Сообщение от Toshkarik

Именно это я и предлагал на предыдущей странице, но тут упорно хотят читать различные буферы всяких там карт и протоколов

Я не хочу упорно читатить из буфера карты ,мне интересно как это работает если это на самом деле работает

@Toshkarik · 31.05.2019, 15:35

Сообщение от ReYalp

Я не хочу упорно читатить из буфера карты ,мне интересно как это работает если это на самом деле работает

Я не конкретно про вас, а про направление обсуждения вообще.

Сообщение от ReYalp

мне интересно как это работает если это на самом деле работает

Что именно работает?

Тут важно понимать наверное, что асинхронное и многопоточное это не одно и тоже, хоть и часто используется вместе.

@ReYalp · 31.05.2019, 15:39 **[ТС]**

oleg-m1973,

Сообщение от oleg-m1973

Обычно в одном потоке ждёшь когда придут данные - select/poll/epoll.

Просто как по мне то select/poll/epoll -это все таки синхронный режим т.к. ты всеравно прерываешься на чтение из сетевого буфера ,когда и WSARecv данные приходят сами в буфер программы

Сообщение от ReYalp

ну я использую порт завершения и пул потоков для обработки полученных данных и асинхронный ввод-вывод с помощью OVERLAPPED событий и WSARecv\Send,когда данные приходят - событие отправляется в очередь порта завершения откуда я могу с помощи GetQueuedCompletionStatus() забирать их и уже обрабатывать.

это сообщение Вам предназначалось

Добавлено через 2 минуты
Toshkarik, я понимаю разницу между асинхронным и многопоточным ,просто если кто-то говорит что можно не создавать буфер для клиентов а сразу обрабатывать с сетевого то интересно как это работает ,потому что это бы существенно упростило задачу

@oleg-m1973 · 31.05.2019, 16:00

Сообщение от ReYalp

Просто как по мне то select/poll/epoll -это все таки синхронный режим т.к. ты всеравно прерываешься на чтение из сетевого буфера ,когда и WSARecv данные приходят сами в буфер программы

Нет, это не синхронный режим, это так работают с сокетами. Подозреваю, виндовские overlаpped всё это делают, только ты этого не видишь.

@ReYalp · 31.05.2019, 16:15 **[ТС]**

oleg-m1973, но все же он асинхронный ,он не блокиует поток для того чтобы забрать данные с сетевого драйвера ,да конечно можно создать новый поток но зачем когда на виндовс есть ovelapped структура)

@oleg-m1973 · 31.05.2019, 16:29

Сообщение от ReYalp

oleg-m1973, но все же он асинхронный ,он не блокиует поток для того чтобы забрать данные с сетевого драйвера ,да конечно можно создать новый поток но зачем когда на виндовс есть ovelapped структура)

Я тупо не знаю как работает overlapped.
Да, WSARecv не блокирует поток, в котором ты его вызываешь (Кстати, в каком?).
Но, lpCompletionRoutine наверняка блокирует какой-то поток (и наверняка не лишний), ну и не гарантирует защиты от переполнения буфера сокета.
Т.е. на сервере нужно, чтобы она отрабатывала максимально быстро - просто выделяла буфер, тупо копировала в него данные и ложила этот буфер в очередь.

@Termit779 · 31.05.2019, 16:32

Вот так поток выполнения программы заблокируется

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
void connect()
{
    char buff[1024];
 
    boost::asio::io_context io;
 
    udp::endpoint remoute_endpoint; 
 
    udp::socket sock(io, udp::endpoint(udp::v4(), 5060));   
 
    while (true)
    {
        std::size_t lean = sock.receive_from(boost::asio::buffer(buff),
                                                      remoute_endpoint, udp::socket::message_peek);
//basic_stream_socket :: message_peek Просматривать входящие данные, не удаляя их из входной очереди.
 
        std::cout << lean;
    }
}

А вот так нет

C++
1
2
std::thread start(connect);
start.detach();

@ReYalp · 31.05.2019, 16:33 **[ТС]**

Termit779, в первом случае Вы блокируете основной поток, а во втором - создаёте новый, это же разные вещи

@oleg-m1973 · 31.05.2019, 16:36

Сообщение от Termit779

А вот так нет
C++Выделить код
1
2
std::thread start(connect);
start.detach();

А как ты ждёшь, когда поток start завершится?

@Termit779 · 31.05.2019, 16:39

Сообщение от oleg-m1973

А как ты ждёшь, когда поток start завершится?

Никак не жду. Для завершения в объект посылается сигнал exit(0) и все. Мне не нужно чтоб этот поток завершался никогда. Только при выходе из программы. Ну смысле для моего конкретного случая. Можно и дождаться выполнения жойном в случае автора.

@ReYalp · 31.05.2019, 16:44 **[ТС]**

oleg-m1973, но completion routine это же только метод ожидания событий перехода в сигнальное состояние, в которое они переходят ПОСЛЕ записи уже в буфер программы данных, я его вообще ставлю в 0 т.к. использую порт завершения для этого, вроде так?

Добавлено через 4 минуты
oleg-m1973, точнее даже не так, это колбек который срабатывает когда событие переходит в сигнальное состояние, вроде так насколько я помню, могу ошибаться

Новые блоги и статьи Все статьи Все блоги /
Нейросеть на алгоритме "эстафета хвоста" как перспектива. Hrethgir 06.05.2026 На десерт, когда запущу сервер. Статья тут https:/ / habr. com/ ru/ articles/ 1030914/ . Автор я сам, нейросеть только помогает в вопросах которые мне не известны - не знаю людей которые знали-бы. . .	Асинхронный приём данных из COM-порта Argus19 01.05.2026 Асинхронный приём данных из COM-порта Купил на aliexpress термопринтер QR701. Он оказался странным. Поключил к Arduino Nano. Был очень удивлён. Наотрез отказывается печатать русские буквы. Чтобы. . .	попытка написать игровой сервер на C++ pyirrlicht 29.04.2026 попытка написать игровой сервер на плюсах с открытым бесконечным миром. возможно получится прикрутить интерпретатор питон для кастомизации игровой логики. что есть на текущий момент:. . .	Контроль уникальности выбранного документа-основания при изменении реквизита Maks 28.04.2026 Алгоритм из решения ниже разработан на примере нетипового документа "ЗаявкаНаРемонтСпецтехники", разработанного в КА2. Задача: уведомлять пользователя, если указанная заявка (документ-основание). . .
Благородство как наказание Maks 24.04.2026 У хорошего человека отношения с женщинами всегда складываются трудно. А я человек хороший. Заявляю без тени смущения, потому что гордиться тут нечем. От хорошего человека ждут соответствующего. . .	Валидация и контроль данных табличной части документа перед записью Maks 22.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в КА2. Задача: контроль и валидация данных табличной части документа перед записью с учетом регламента компании. . .	Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484

	Правильное выделение памяти 31.05.2019, 01:37. Показов 4853. Ответов 70 Метки нет (Все метки) Как лучше всего выделять память для клиентов на сервере? Клиент отправляет серверу строку в асинхронно режиме которую он (сервер) должен обработать(к примеру клиент посылает серверу сообщения чтобы тот вывел их на экран), так вот появился вопрос если клиентов много то выделять для каждого нового свой буфер для приёму сообщений как мне кажется это не лучшая идея если смотреть со стороны ресурсов, т.к. если к примеру я буду выделять 1024 байт буфера для клиента который отправит только 10 байт то получится пустая трата ресурсов, есть идеи? 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 15:03 [ТС]
	TRam_, так а если клиентов больше 32?) Зачем мне ограничивать кол-во клиентов? Добавлено через 2 минуты eva2326, если ��, я не виду другого способа как узнать размер данных под которые я должен создавать буфер кроме как явно их указывать при отправке с клиента, после читать на сервере это число и создавать соответствующий массив, Вы это имеете ввиду? 0

@Toshkarik 1181 / 894 / 94 Регистрация: 03.08.2011 Сообщений: 2,461
	31.05.2019, 15:10
	Я просто не могу понять, откуда вы все это берете. Все в кучу перемешали. Кто вам даст читать напрямую из буфера? И из какого буфера то? Вы можете вызвать функцию ( например, recv ) для того, чтоб драйвер протокола ( например, tcp ) из своего буфера записал данные в вашу память. Причем для конкретного сокета ( соединения ). Ни о каком доступе к устройству быть не может на этом уровне. Возможно, стоит почитать про модель OSI и хоть примерно понять, что вообще просходит. 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 16:15 [ТС]
	oleg-m1973, но все же он асинхронный ,он не блокиует поток для того чтобы забрать данные с сетевого драйвера ,да конечно можно создать новый поток но зачем когда на виндовс есть ovelapped структура) 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 16:33 [ТС]
	Termit779, в первом случае Вы блокируете основной поток, а во втором - создаёте новый, это же разные вещи 0

@ReYalp 63 / 46 / 11 Регистрация: 27.12.2017 Сообщений: 1,484
	31.05.2019, 16:44 [ТС]
	oleg-m1973, но completion routine это же только метод ожидания событий перехода в сигнальное состояние, в которое они переходят ПОСЛЕ записи уже в буфер программы данных, я его вообще ставлю в 0 т.к. использую порт завершения для этого, вроде так? Добавлено через 4 минуты oleg-m1973, точнее даже не так, это колбек который срабатывает когда событие переходит в сигнальное состояние, вроде так насколько я помню, могу ошибаться 0