Форум программистов, компьютерный форум, киберфорум
C++: Сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
 
 
Рейтинг 4.52/27: Рейтинг темы: голосов - 27, средняя оценка - 4.52
3 / 27 / 2
Регистрация: 23.10.2013
Сообщений: 2,331

Варианты передачи потока разных данных

08.10.2015, 16:53. Показов 6956. Ответов 84
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
У меня есть TCP клиент под андроид и TCP сервер на Qt под Windows. Мне нужно передать сначала большой обьем текстовых данных а затем передать изображение. Так вот проблема в том что по TCP все данные передаются одним потоком(то есть TCP гарантирует только надежность и порядок передачи данных, но что и когда будет прочитано не известно). Так вот вопрос такой. Во первых мне нужно передать текстовые данные разного назначения(ну к примеру, контакты, текстовые сообщения и тп) а на сервере соответственно эти текстовые данные нужно разделить и сгруппировать каждые в свой текстовый файл(ну соответсвенно если мы берем контакты они должны быть записаны на сервере в файл контактов, сообщения в файл сообщений и так далее). Так вот чтобы удобнее эти данные рассортировать на сервере как лучше их передавать в виде JSON и на сервере парсить этот JSON или же разделить эти группы данных какими нибудь разделителями(типа @,# и тп) и на сервере соответвенно выделять из буфера данные между этими разделителями??
И второе: Мне также нужно передавать изображение на сервер. Так вот как мне правильно отделить байты изображения от этих прочих данных чтобы изображение сохранить на сервере отдельно в файл??
Как лучше всего упаковать и отправить эти данные на клиенте андроид так чтобы их было легко рассортировать потом на сервере?? Подайте идею?? заранее благодарен
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
08.10.2015, 16:53
Ответы с готовыми решениями:

Возможные варианты передачи данных с не лотусового веб сервера в Lotus
Разрабатываю тему по получению данных с веб-формы расположенной не на лотусовом сервере в лотусовую базу как документ. Что можно покрутить...

Скорость передачи данных именованного потока
Привет всем! У кого-нибудь есть сведения о скорости и задержке передачи данных через именованный поток на локальной машине? У меня...

Использование DLL для приема-передачи данных в разных приложениях
Здраствуйте, я новичок в С++, недавно столкнулся с проблемой, не могу передать два числа типа int из одной программы, созданной в С++...

84
 Аватар для Fulcrum_013
2083 / 1576 / 169
Регистрация: 14.12.2014
Сообщений: 13,614
19.10.2015, 20:05
Студворк — интернет-сервис помощи студентам
Цитата Сообщение от yura91 Посмотреть сообщение
если так то нужно возвращать на клиент данные и там анализировать что есть верно?? А FTPServer в Qt можно создать??
Можно все но он там должен быть. У меня в билдере к примеру имеется Indy с набором из 42 клтентов и серверов для разных интернет-протоколов. что то подобное наверное есть и для Qt

Добавлено через 1 минуту
Цитата Сообщение от yura91 Посмотреть сообщение
у тогда в автомате нужно предусмотреть еще разные команды то есть если все норм то значение Ok в другом случае обрыв верно??
Главное как этот Ок вычислять придумать исходя из протокола.
0
3 / 27 / 2
Регистрация: 23.10.2013
Сообщений: 2,331
19.10.2015, 20:42  [ТС]
а пинговать можно просто соединение?? или скажем если завершение штатное то сервер должен перед закрытием сокета отправить на клиент команду ОК а если время прошло и ОК на клиент не пришло то значит обрыв так можно вычислять?? Или пинговка лучше?? Ведь на FTP и HTTP соединение может тоже оборваться чем там проще в этом плане??
0
 Аватар для Fulcrum_013
2083 / 1576 / 169
Регистрация: 14.12.2014
Сообщений: 13,614
19.10.2015, 20:54
Цитата Сообщение от yura91 Посмотреть сообщение
а пинговать можно просто соединение??
Ниче пинговать не надо. Это проблема TCP определить когда оно отпало. и вызвать событие "мы отпали", Тебе нужно только определить штатно или нет

Добавлено через 2 минуты
Цитата Сообщение от yura91 Посмотреть сообщение
Ведь на FTP и HTTP соединение может тоже оборваться чем там проще в этом плане??
Там все обрабатывает компонент. Даже отключаться или реюзать. А управляешь по принципу послал запрос получил ответ. По фтп - залить файл, а тебе события выскакивают сколько байт залилось и типа залились.
0
3 / 27 / 2
Регистрация: 23.10.2013
Сообщений: 2,331
20.10.2015, 15:41  [ТС]
Ниче пинговать не надо. Это проблема TCP определить когда оно отпало. и вызвать событие "мы отпали", Тебе нужно только определить штатно или нет
То есть ли у меня есть TCP клиент андроид и TCP сервер на Qt и шла передача данных а потом резко пропал вай фай, то я могу по состоянию автомата понять что просто пропал вай фай а не все данные прочитаны и это штатное закрытие сокета ??

Добавлено через 1 час 56 минут
Если передача идет в таком виде Socket->Send(STX+CategoryId+Data+ETX); то как из этого сообщения в автомате вырезать CategoryId??
0
 Аватар для Fulcrum_013
2083 / 1576 / 169
Регистрация: 14.12.2014
Сообщений: 13,614
20.10.2015, 19:20
Цитата Сообщение от yura91 Посмотреть сообщение
Если передача идет в таком виде Socket->Send(STX+CategoryId+Data+ETX); то как из этого сообщения в автомате вырезать CategoryId??
К примеру по принципу того что CategoryID имеет фиксированный размер. Какой - такой какой вам необходим для кодирования всех номеров категорий.
Цитата Сообщение от yura91 Посмотреть сообщение
то я могу по состоянию автомата понять что просто пропал вай фай а не все данные прочитаны и это штатное закрытие сокета
Да именно так
0
3 / 27 / 2
Регистрация: 23.10.2013
Сообщений: 2,331
20.10.2015, 19:51  [ТС]
Да именно так
А какое состояние автомата будет если был обрыв соединения и не все данные прочитаны?? Размер данных будет меньше того который я вычислил на клиенте исходя из передаваемых данных. По этому критерию судить(по размеру переданных данных) или по какому??

Добавлено через 3 минуты
К примеру по принципу того что CategoryID имеет фиксированный размер. Какой - такой какой вам необходим для кодирования всех номеров категорий
Я могу в качестве id категории передавать просто число первым байтом от 0 до 255 отличное от ASCII кода STX а за этим id идут сами данные относящиеся к этой категории до символа ETX правильно я рассуждаю?? если нет поправьте
0
 Аватар для Fulcrum_013
2083 / 1576 / 169
Регистрация: 14.12.2014
Сообщений: 13,614
20.10.2015, 20:27
Цитата Сообщение от yura91 Посмотреть сообщение
Размер данных будет меньше того который я вычислил на клиенте исходя из передаваемых данных. По этому критерию судить(по размеру переданных данных) или по какому??
Или не получен ETX для текстового блока (ну типа не закрыта операторная скобка). Можно по этому. Это один из варианта определения обрыва - не завершена отдельно взятая команда. Еще в зависимости протокола может быть "не завершена группа команд". Ну а если в общем - то автомат находится в середине операции которая для штатного закрытия должна быть выполнена полностью.

Добавлено через 2 минуты
Цитата Сообщение от yura91 Посмотреть сообщение
Я могу в качестве id категории передавать просто число первым байтом от 0 до 255 отличное от ASCII кода STX а за этим id идут сами данные относящиеся к этой категории до символа ETX правильно я рассуждаю?? если нет поправьте
Да можете. К примеру CategoryId+32. Декодирование - CategoryID=ReceivedBuffer[0]-32;

Добавлено через 47 секунд
Так пролезит до 256-32=224 типов категорий.
0
3 / 27 / 2
Регистрация: 23.10.2013
Сообщений: 2,331
20.10.2015, 21:33  [ТС]
а для передачи бинарных данных(если они передаются в одном потоке с текстовыми - это же все равно поток байт) тоже можно использовать STX и ETX для их отделения от текстовых данных и между собой?? Или лучше как то по другому??
0
 Аватар для Fulcrum_013
2083 / 1576 / 169
Регистрация: 14.12.2014
Сообщений: 13,614
20.10.2015, 21:37
Цитата Сообщение от yura91 Посмотреть сообщение
оже можно использовать STX и ETX для их отделения от текстовых данных и между собой?? Или лучше как то по другому??
Только если их экранировать. Потому что в сами бинарные данные могут входить те же значения байта что STX и ETX. Поэтому удобнее завести в протоколе команду "бинарные данные" и отправлять окончание блока бинарных данных по длине блока передаваемой в начале. Автомат приема получается проще и работает быстрее чем в случае экранирования.
0
3 / 27 / 2
Регистрация: 23.10.2013
Сообщений: 2,331
21.10.2015, 11:36  [ТС]
А что начит экранировать?? То есть лучше сначала отправлять размер изображения а потом само изображение так?? Ну а если до изображения в этом потоке идут текстовые данные то как их првильно отделить от байтов изображения?? STX текстовое сообщение ETX и дальше как пометить байты изображения?? И второе размер изображения может быть большим не влезет в один байт его значение и как тогда передавать размер изображения - целым числом?? Как это сделать ведь функция send() принимает char* а не int ?? Как без потери передать int через сокеты и принять на сервере можете небольшой фрагментик привести??
0
 Аватар для Fulcrum_013
2083 / 1576 / 169
Регистрация: 14.12.2014
Сообщений: 13,614
21.10.2015, 12:46
Цитата Сообщение от yura91 Посмотреть сообщение
А что значит экранировать??
Это значит в данных вставлять перед символами совпадающими по значению с управляющими спецсимвол говорящий что следующий символ не управляющий а просто данные. При приеме соответсвенно вырезать все это обратно.

Добавлено через 18 минут
STX ETX и тп - это команды. Заведи команду и на бинарные данные а потом придумай формат бинарного буфера. К примеру длина данных,и сами данные. Как передавать длину есть много вариантов, в простейшем все одним буфером. В простейшем случае размера просто определяешь количество байт. И определяешь для себя в каком порядке должны быть байты в поле размера big endian Или low endian. Если у кого то (клиента или сервера) не совпадает - тот переставляет в нужной последовательности.
0
3 / 27 / 2
Регистрация: 23.10.2013
Сообщений: 2,331
21.10.2015, 14:00  [ТС]
То есть вы имеете ввиду отправлять бинарные данные отдельно(по отдельной команде) а не в одном потоке с текстовыми правильно я понял?? А вот на счет размера не совсем понял если у меня буфер с байтами изображения занимает несколько тысяч килобайт и я хочу передать этот размер на сервер а диапазон значений байта от 0 до 255 и как я тогда передам размер значение которого 1000 ?? Как вообще int переменную передать через TCP??
0
 Аватар для Fulcrum_013
2083 / 1576 / 169
Регистрация: 14.12.2014
Сообщений: 13,614
21.10.2015, 15:54
ну как заводишь поле нужного размера. 4 или 8 байт под размер файла. Бросаешь манетку какой будет их порядок - лов ендиан или биг ендиан. Запиздячиваешь какой стороной упала монетка в протокол. у кого не совпадает конвертируешь из того что у них в платформе в то что должно быть в протоколе.
Цитата Сообщение от yura91 Посмотреть сообщение
Как вообще int переменную передать через TCP??
Если бы только с TCP такая проблема была... она во всем при взаимодействии компов с биг ендиан и лов ендиан. При известной длине поля решается элементарно - порядок байт а поле реверсится.
0
3 / 27 / 2
Регистрация: 23.10.2013
Сообщений: 2,331
21.10.2015, 18:31  [ТС]
То есть я могу передать команду "бинарные данные" с клиента опять же заключенную в символы STX и ETX выделить ее на сервере из текстовых данных (сравнить ее значение со значением "бинарные данные" на сервере, это может быть либо значение от 0 до 255 либо строка "бинарные данные") и после этой команды будут идти сами бинарные данные с указанным размером правильно я понял??
0
 Аватар для Fulcrum_013
2083 / 1576 / 169
Регистрация: 14.12.2014
Сообщений: 13,614
22.10.2015, 08:07
Вернее так же как STX считай stx команда начало текстовых данных. ETX- команда конец текстовых данных. Т.е.делаеншь еще команду. ну обычно из 1-ых 32 символов выбирают хотя не обязательно. что есть команда а что данные определяет состояние автомата в момент получения. Для текста размера в команде нет потому что он определяется по ETX. А для бинарки - после байта - команды сразу отправляешь размер а следом данные.

Добавлено через 8 минут
Т.е. считай что принимающий автомат это виртуальный процессор выполняющий команды (машина Тюринга с набором команд и состояний). То что передает передающий фактически лента программы для этой машины. Так гораздо проще понять что нужно для проектирования всех надобностей протокола, и проще спроектировать принимающий автомат, ну и передающий тоже.
0
3 / 27 / 2
Регистрация: 23.10.2013
Сообщений: 2,331
22.10.2015, 21:18  [ТС]
Ну а как правильно выбрать какой будет байт команды для бинарных данных?? Ведь мне нужен какой то уникальный символ который бы отделял бинарные данные в потоке от текстовых. И какой символ мне лучше всего взять(ведь мне нужно чтобы этот символ не встречался, ничего не означал ни в бинарке не в текстовых данных, и какой же такой символ или байт выбрать в качестве команды, которая означает, что дальше идут бинарные данные) вот в чем проблема ?? И байты звука это тоже бинарные данные??

Добавлено через 9 часов 45 минут
Т.е.делаеншь еще команду. ну обычно из 1-ых 32 символов выбирают хотя не обязательно
Это имеется ввиду первые 32 символа в таблице ASCII?? А какой лучше взять для команды бинарные данные??
0
 Аватар для Fulcrum_013
2083 / 1576 / 169
Регистрация: 14.12.2014
Сообщений: 13,614
25.10.2015, 01:09
Цитата Сообщение от yura91 Посмотреть сообщение
Ведь мне нужен какой то уникальный символ который бы отделял бинарные данные в потоке от текстовых.
Ты не совсем правильно понял. тебе нужен символ который переводит автомат из режима "ожидание команды" в режим "бинарные данные". Т.е. он спец только в тот момент когда автомат в режиме ожидания команды.
В принципе можешь просто пронумеровать по порядку режимы. Но поскольку уж используем ASCII то там обычно символ ESC для этого пользовался в принтерах, так же как и для экранирования.

Добавлено через 3 минуты
Да кстати в режиме ожидания стоит предусмотреть реакцию на неизвестную команду а не просто ее игнорировать. Фактически неизвестная автомату команда - нештатная ситуация.
0
3 / 27 / 2
Регистрация: 23.10.2013
Сообщений: 2,331
25.10.2015, 14:13  [ТС]
но хорошо а как тогда в одном потоке байтов я отличу где заканчиваются текстовые и начинаются бинарные данные(бинарные данные еще разных категорий звук и изображение). Текстовые данные я из буфера вырежу между STX и ETX, а как правильно вырезать из общего буфера бинарные данные?? Как правильно этот поток данных передать на клиенте?? Может текстовые данные передать по байтам( разделить категории между символами STX и ETX) ну а бинарные данные передать в JSONе ?? Так можно сделать ?? Правильное решение?? Так то уже понятно что текстовые данные идут по байтам а бинарные данные - это JSON
0
 Аватар для Fulcrum_013
2083 / 1576 / 169
Регистрация: 14.12.2014
Сообщений: 13,614
25.10.2015, 23:25
Вот так и различишь. На старте автомат находится в режиме Ожидание комманды. По приходу комманды "текстовые данные" переключается в режим приема текстовго блока (т.е. принимает в текстовый блок все пока не встретит ETX). По команде "бинарные данные" переключается в режим приема бинарных данны т.е считывает из потока длину блока а потом сами байты блока. По завершении приема переключается обатно в режим ожидания команды.

Добавлено через 6 минут
Цитата Сообщение от yura91 Посмотреть сообщение
ну а бинарные данные передать в JSONе
Мой тебе совет - если не передаешь объекты Java Script-а не связывайся с JSON. Во первых он предназначен для передачи/сериализации объектов JavaScript. Так и расшифровывается Java Script Object Notation. Поэтому абсолютно не приспособлен для передачи бинарных данных. Разве что в base64 упаковывать потом распаковывать, при этом еще куча плясок с бубном чтобы определить какое поле распаковывать, при этом при при использовании готовой библиотеки парсинга еще придется как то придумать чтобы он на лету поле распаковывал а не накапливал все в base64 а потом декодировал.
0
3 / 27 / 2
Регистрация: 23.10.2013
Сообщений: 2,331
26.10.2015, 11:56  [ТС]
То есть если я передаю на сервер несколько категорий данных разделенных между собой символами STX и ETX и в том же потоке передаю бинарные данные, то как мне правильно установить команду бинарные данные в автомате?? я же должен точно знать, когда в этом потоке пойдут бинарные данные
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
typedef enum {mdNone,mdBinary,mdText} TDataMode;
void Receive(){
unsigned Size=;//размер буфера сколько не жалко или из других соображений
char *Buffer=new [Size+1];
char *BufferEnd=Buffer+Size;
TDataMode Mode=mdUnknown;
AnsiString CurrentText="";
while (!Disconnected);
       unsigned Received;
       bool End;
       Socket->Receive(Buffer,Size,&Received);
       char *BufPtr=Buffer;
       
        while (BufPtr<BufferEnd){
                 char *TextPtr;
                 switch (Mode){
                      case dmText: TextPtr=BufPtr;
                                         while (*BufPtr!=ETX && BufPtr<BufferEnd)BufPtr++;
                                         End =  *BufPtr==ETX;
                                        *BufPtr=0;
                                         CurrentText+=TextPtr;
                                          if (End) { 
                                                     OnTextMessage(CurrentText) -// OnTextMessage- каллбек обработки gолученного текста
                                                        CurrentText="";
                                                        Mode=mdNone;
                                            };
                                   break;
                      case dmBinary:
                                   //тут обработка остальных вариантов протокола. 
                                  break;
                      case  dmNone: switch (*BufPtr){
                                    case STX: Mode=dmText;
                                                   break;  
                                     }
                                     BuffPtr++;
                                     break; 
 }
 delete Buffer;
};
То есть как определить момент когда значение Mode примет значение dmBinary?? Команду бинарные данные я тоже должен с клиента как то передавать?? Или допустим я могу так передать: сначала текстовые данные их рассортировать по категориям на сервере, потом отправить ответ клиенту что текстовые данные приняты перевести автомат в режим ожидания и потом отправить с клиента бинарные данные и на сервере перевести автомат в режим приема бинарных данных, так можно поступить?? И второе: Ну и как в одном потоке передать категории бинарных данных(изображение,звук), их размеры, характеристики звука и собственно сами данные, все это нужно разделить как то в потоке между собой, чтобы на сервере можно было проанализировать, что к чему относится, какой разделитель для этого выбрать?? И как правильно разделить эти все данные на клиенте и передать чтобы на сервере было понятно что к чему относится??
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
26.10.2015, 11:56

Варианты очистки потока
Всем доброго времени суток! Имеется задача следующего вида: Есть два контейнера, в которых элементам задано свойство float. Из-за этого...

Модель передачи потока пакетов
Здравствуйте! Есть задача: На канал поступает для передачи поток пакетов с равномерным распределением промежутка времени между...

Что будет, если два разных потока попытаются отправить одновременно одному клиенту два разных пакета
Здравствуйте! Имеется вот такой незамысловатый метод отправки пакетов на сокет клиента public static void...

Сборка системника: варианты в разных ценовых категориях.
Лет 5 назад я с уверенностью справился бы и сказал что и откуда брать, куда ставить и прочее прочее, при этом и цену сказал бы. Но, в связи...

Оптимизация передачи классов и методов и их обработки в разных модулях
Доброго времени суток. Работаю над сложной программой, позволяющей считать таблицу Excel вида &quot;номер-коордХ-коордY-вид...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
60
Ответ Создать тему
Новые блоги и статьи
Транслитерация текста с кириллицы на латиницу (вариант №5)
Maks 17.11.2026
Дабы оставить позади все споры о том, какая буква каким образом должна транслитерироваться на латиницу - решил таки доработать данное решение и довести его до мало-мальски логического завершения. . . .
Просмотровщик HLP и конвертер в CHM
Argus19 16.11.2026
Просмотровщик HLP и конвертер в CHM Давно хотел переделать справку Microsoft® Win32® Programmer's Reference, чтобы иметь её под рукой. Но использовать несколько программ не удобно. Искал другие. . .
BitTorrent (версия 7.11 English) и Меню Настройки
russiannick 15.11.2026
Пункты, отвечающие за отключение обновлений в BitTorrent версии 7. 11 (английской) Options Preferences General Language
Транслитерация текста с кириллицы на латиницу (вариант №4)
Maks 15.11.2026
Что-то я перемудрил с предыдущими версиями, в этот раз сделал всё проще, обратившись к функции "СтрокаЛатиницей" из типового общего модуля "СтроковыеФункцииКлиент". В данной функции нет апострофов,. . .
BitTorrent (версия 4.3.9) и Меню Настройки
russiannick 15.11.2026
В меню Настройки можно отключить автоматическое обновление программы. Карта этого меню приложена ниже. Нужный пункт выделен красным. Сервис Настройки Поведение
Транслитерация текста с кириллицы на латиницу (вариант №3)
Maks 15.11.2026
Обновленная версия предыдущей обработки. Изменения коснулись букв: Ъ, Ы, Ь, Э, отображения которых зависят от положения реквизита "Транслитерация имён". Изменено отображение буквы Й. Добавлена. . .
Транслитерация текста с кириллицы на латиницу (вариант №2)
Maks 13.11.2026
Обновленная версия ранее созданной обработки. Добавлено: - Проверка исходного текста на кириллицу, через обращение к стандартной функции "ТолькоКириллицаВСтроке" из общего модуля. . .
Часы с термометром и праздничным календарем
yariko 12.11.2026
Сегодня мы рассмотрим как можно сделать отличные многофункциональные часы. Итак, поставим конкретную задачу: разработать часы с календарем, двумя термодатчиками, выводом поздравительных сообщений. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru