Форум программистов, компьютерный форум, киберфорум
C++: Сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
 
 
Рейтинг 4.51/88: Рейтинг темы: голосов - 88, средняя оценка - 4.51
 Аватар для taras atavin
4226 / 1799 / 211
Регистрация: 24.11.2009
Сообщений: 27,562

Передача больших объемов информации по TCP

06.03.2012, 10:49. Показов 18075. Ответов 34
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Надо передавать больше данных, чем может весть отдельный пакет. Когда данных мало, то всё понятно, можно отправить объект целиком и указать его sizeof на клинте и на сервере. А если данных много? Если превышен максимальный размер пакета? Ведь тогда объект будет порезан на куски. Как правильно склеить его? И как идентифицировать конец? Можно ли полагаться на равенство счётчика значению sizeof? А если тип данных может меняться? Если надо отправлять объекты разных классов? Когда данных мало, я могу принять сначала префиксный код размером в 1 байт и по switch решить, что именно и какого типа принимать дальше. Но если объект окажется рарезан, то первый байт пакета может быть и из серидины самого объекта. Как быть в этом случае? Искуственно клеить все объекты, какие могут подлежать передаче, в композитный объект и передавать всегда его? Если некоторые большие объекты меняются чаще других, то без толку раздуется трафик: при равных частотах изменения можно хоть както съекономить, передавая только после того, как изменятся все, а при разных частотах придётся весь композит передавать при каждом изменении часто изменяемых объектов, при этом будут повторно передаваться и редко изменяемые. Как это делается?
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
06.03.2012, 10:49
Ответы с готовыми решениями:

Передача больших файлов по TCP
Здравствуйте! При передаче небольших файлов вопросов не возникает. Теперь стала задача передать файл размером скажем 64 мБ если в send...

Передача информации по TCP/UDP, находясь за роутером
Всем привет! Проблема заключается в названии самой темы. Она ОЧЕНЬ распространена и это будет просто круто, если вы поможете мне ее...

Хранение больших объемов информации
Здравствуйте! Подскажите какие есть альтернативы текстовому файлу в линукс. Необходимо записывать некие данные в файле. Обычный...

34
Автор FAQ
 Аватар для -=ЮрА=-
6614 / 4256 / 401
Регистрация: 08.08.2009
Сообщений: 10,325
Записей в блоге: 24
06.03.2012, 15:57
Студворк — интернет-сервис помощи студентам
Цитата Сообщение от villu Посмотреть сообщение
Поэтому чем больше блок вычитывания -- тем лучше.
- да без разницы, делай буфер 1 Мб я принцип показывал считываем файл и кусками запихиваем его клиенту - если кусок дошёл(проглотили), если нет - просим добавки. А передача чтение и расшифровка сигнатур это как мне кажется совершенно бесполезная затея + доп фактор снижающий скорость алгоритма...

Добавлено через 8 минут
Цитата Сообщение от villu Посмотреть сообщение
без разницы 1 поток или 10000.
-нет не так - до определённого момента целесообразно увеличение числа потоков, этот предел ограничивается пропускной способностью канала. Если пропускная способоность крайне низка + высока вероятность сбоев при передачи - лучше организовывать передачу маханькими кусками, чтобы была уверенность что за время передачи отказ сети не повлияет на работу...
Наверное мои слова станут понятными когда закачиваем фильм в 8-мь или один поток на скоростном канале, что быстрей закачается 1-но поточная или же всё таки 8-ми поточная закачка, м???Ответ очевиден

Добавлено через 1 минуту

Не по теме:

Я думаю свою концепцию передачи данных изложил кристально понятно, поэтому пожалуй перейду в другой топик...

0
204 / 205 / 16
Регистрация: 06.08.2011
Сообщений: 600
Записей в блоге: 1
06.03.2012, 18:06
изложил -- хорошо. А теперь подумай откуда клиент узнает сколько ему нужно вычитать таких вот мелких блоков, если заранее не известна длина этого "файла" или, например, ответа на запрос из БД. Вот я подключился и сказал (грубо; например 2 запроса) "select * from mybd\nselect * from anotherbd". Сколько 2к блоков я получу в ответ и как я пойму, что кончился ответ на первый запрос и начался ответ на второй?
Наверное мои слова станут понятными когда закачиваем фильм в 8-мь или один поток на скоростном канале, что быстрей закачается 1-но поточная или же всё таки 8-ми поточная закачка, м???Ответ очевиден
Закачка где? в чем? какой протокол? Если HTTP то, о сюрприз, это зависит не от количества потоков, а от конкретной реализации клиента, который, чаще, заточен на получение небольших страничек и действительно вытаскивает по мелкой капле ( обычно сокету выставляется размер recv-буфера в 8 килобайт, как в IE, например ).

А еще есть HTTP качалки, и наверняка в настройках видел установку "тип сети" с возможностью выставить скорость сети (LAN, modem 128k, ...). Это тоже не просто так.

А еще это зависит от настроек сервера, которому специально занижают скорость для каждого клиента, чтоб его банально не просадили, при выкачивании исошника.
А еще могут зарезать скорость для конкретного пользователя/подсети/страны и тогда тебе 1000 потоков не помогут.

А еще ... в общем и таких "а еще .." дюжина, а то и больше.

А вот, например самба, в один поток вытаскивает файл с максимально возможной скоростью ~11 мег в секунду в 100 мегабитной сети. И никакое разнесение по потокам тут тоже не поможет (а скорее усугубит ситуацию), потому что быстрее невозможно физически. И это, кстати ответ на:
Что быстрее будет один поток на 20 Мб или 1000-ча на 2 кБ как думаешь???
резюме: пример с 1000 потоками крайне не корректен. А при задаче ТС он еще вреден и чреват изрядным геморроем.
0
Автор FAQ
 Аватар для -=ЮрА=-
6614 / 4256 / 401
Регистрация: 08.08.2009
Сообщений: 10,325
Записей в блоге: 24
06.03.2012, 18:56
Цитата Сообщение от villu Посмотреть сообщение
А еще это зависит от настроек сервера, которому специально занижают скорость для каждого клиента, чтоб его банально не просадили, при выкачивании исошника.
villu, ты или не читаешь что я пишу
Цитата Сообщение от -=ЮрА=- Посмотреть сообщение
этот предел ограничивается пропускной способностью канала.
или намеренно лезешь в бутылку прости но на данном этапе нам не о чем говорить, без обид...
Цитата Сообщение от villu Посмотреть сообщение
Закачка где? в чем? какой протокол? Если HTTP то, о сюрприз, это зависит не от количества потоков, а от конкретной реализации клиента, который, чаще, заточен на получение небольших страничек и действительно вытаскивает по мелкой капле ( обычно сокету выставляется размер recv-буфера в 8 килобайт, как в IE, например ).
- вобще куда тебя понесло мы о ТСР говорили ты уже HTTP приплёл
В конце концов я у тебя помощи не просил и просить не буду потому что она мне просто не нужнаЯ лишь высказал своё мнение и дал направление действий taras atavin, его дело прислушаться ко мне или нет.
А писать код чтобы только тебе одному показать как глубоко ты заблуждаешся просто жаль времени
0
204 / 205 / 16
Регистрация: 06.08.2011
Сообщений: 600
Записей в блоге: 1
06.03.2012, 20:38
Цитата Сообщение от -=ЮрА=- Посмотреть сообщение
что я пишу

Не по теме:

Если коротко, то пишешь ты несусветную дрянь. А самое страшное в том, что ты уверен, что пишешь разумные вещи и "даешь направление действий", совершенно не понимая предмета и последующих за таким направлением проблем.


вобще куда тебя понесло мы о ТСР говорили ты уже HTTP приплёл
OMG! ...
Ты прав, разговаривать не о чем. Вот http://en.wikipedia.org/wiki/OSI_model, http://ru.wikipedia.org/wiki/T... 0_TCP.2FIP читать 3 раза в день перед едой, пока просветление не наступит.

Не по теме:

а вообще, мелко взял. надо было про "пакеты" IP поговорить

- Ты вообще в курсе, что Jabber XMMP в качестве протокола использует?
- Ох уж эти "индусы". и чем их TCP то не устраивает?

0
06.03.2012, 21:37

Не по теме:

villu, будь попроще в выражениях и не переходи на личности...
Отличие между программистами в тех задачах которые они могут реализовать, одним кажется неосуществим то что для других дело пары часов работы...
Навиваются слова из песни:"...и способны дотянутся до звёзд не считая что это сон..." тебе их адресовать точно не могу. Я мог бы и покрепче выражаться, но с недавнего времени забиваю на глупость со стороны некоторых ответчиков. Я не прав да пожалуйста я не прав:)Отличие в том что я могу написать то о чём говорил а ты считаешь это нереальным, ну ок когда то люди считали что и взлететь на машине тяжеле воздуха нельзя, прозрение приходит со временем:)

0
Псевдослучайный
1946 / 1146 / 98
Регистрация: 13.09.2011
Сообщений: 3,215
06.03.2012, 21:53
-=ЮрА=-, всё же стоит прислушаться к villu, излишний велосепидизм до добра не доводит, Вытягивание с одного ресурса в несколько потоков имеет смысл только в случае обхода простейшей политики ограничений(ибо непростейшая обычно в состоянии понять, что качает на самом деле один клиент).
0
 Аватар для taras atavin
4226 / 1799 / 211
Регистрация: 24.11.2009
Сообщений: 27,562
07.03.2012, 11:23  [ТС]
Цитата Сообщение от -=ЮрА=- Посмотреть сообщение
taras atavin, разбей свой блок данных на чати скажем по 2048 байт.
Пакет уже будет превышен на 548 байт и добавится ещё один уровень со своими сложностями.

Добавлено через 3 минуты
Цитата Сообщение от CheshireCat Посмотреть сообщение
в самом начале передавай размер требуемого буфера, аллокируй его (лучше использовать vector<>, если ты пишешь на C++)
И приходим к анализу при обработке события, когда первый байт может быть и из середины данных.

Добавлено через 1 минуту
Цитата Сообщение от -=ЮрА=- Посмотреть сообщение
Допустим у нас блок данных 20 Мб, в зависимости от скорости подключения он будет транслироваться от минуты до получаса.
Кто сказал, что это всегда интернет? Один блок данных может идти из интернета, а другой из локалки со скоростью 100 мегабит/с и время будет определяться скоростью уже не сети, а источника.

Добавлено через 11 минут
До файлов я как то не допёр.
0
204 / 205 / 16
Регистрация: 06.08.2011
Сообщений: 600
Записей в блоге: 1
07.03.2012, 11:44
Цитата Сообщение от taras atavin Посмотреть сообщение
Добавлено через 3 минуты
И приходим к анализу при обработке события, когда первый байт может быть и из середины данных.
.
а что такое у тебя это "событие"? я сейчас про способ взаимодействия спрашиваю. Класс какой-то с колбеком? Асинхронный, синхронный?
0
 Аватар для taras atavin
4226 / 1799 / 211
Регистрация: 24.11.2009
Сообщений: 27,562
07.03.2012, 11:57  [ТС]
Событие - это то, о чём сообщает сообщение. Хотя, может я просто мало тестил.
0
Автор FAQ
 Аватар для -=ЮрА=-
6614 / 4256 / 401
Регистрация: 08.08.2009
Сообщений: 10,325
Записей в блоге: 24
07.03.2012, 12:24
Цитата Сообщение от taras atavin Посмотреть сообщение
Кто сказал, что это всегда интернет? Один блок данных может идти из интернета, а другой из локалки со скоростью 100 мегабит/с и время будет определяться скоростью уже не сети, а источника.
- тогда конкретезируй задание, у меня перед глазами нарисовалась задача - передать файл сокетами с максимальной эффективностью с возможностью докачки и без гемора с динамическим выделением памяти под буффер, т.е. с помощью блоков константной длинны. Это всё и обрисовывал выше...

На счёт этого
Цитата Сообщение от taras atavin Посмотреть сообщение
Пакет уже будет превышен на 548 байт и добавится ещё один уровень со своими сложностями.
- ну сделай буфер 1024 байта, тебе же решать какой он должен быть, ты творец своего алгоритма и тебе решать какую константную длинну буфера делать...
0
204 / 205 / 16
Регистрация: 06.08.2011
Сообщений: 600
Записей в блоге: 1
07.03.2012, 13:04
Событие - это то, о чём сообщает сообщение.
нет, мне интересно на уровне кода клиента. Как оно у тебя приходит?
как какой-то колбек? IOCP? select? Если можно, то покажи кусок кода с приемом этого сообщения.
0
 Аватар для taras atavin
4226 / 1799 / 211
Регистрация: 24.11.2009
Сообщений: 27,562
07.03.2012, 14:01  [ТС]
Ты про виндовые мессаги слышал? Семантика WM_KEYDOWN - сообщение о событии нажатия клавиши, семантика сообщения WM_MOUSEMOVE - сообщение о событии перемещения мыши и так далее. В билдере даже есть владка events, где им соответствуют обработчики OnKeyDown и OnMouseMove. А есть ещё OnClientRead и OnClientWrite, один из них вызывается после отправки данных клиентом, но получаются только первые полтора килобайта (в десятичном понимании приставки).
0
204 / 205 / 16
Регистрация: 06.08.2011
Сообщений: 600
Записей в блоге: 1
07.03.2012, 16:45
ok. В данный момент не интересно, какие данные.
я спрашивал про способ их доставки, а конкретно про этот самый OnClientRead, который, как понимаю говорит тебе, что есть некоторые данные, которые надо забрать.

Так как ты используешь TCP, который в отличие от UDP может разбить поток, тебе нужен коллектор, который может сохранять данные и принимать решения о том полные они, или нет. Есть вариант, который предлагал CheshireCat, то есть при приеме блока, дописывать его в хвост принятых уже данных и анализировать данные сначала. Процесс утомительный на мой взгляд.

Есть вариант с посылкой длины что-то типа <len>:<data[len]><len2>:<data2[len2]> Вот его и рассмотрим.
Коллектор должен
1: накопить достаточно данных чтоб понять длину блока (2, 4, 8 байт)
2: вычитать блок уже известной длиной, отправиться на п1

После получения блока данных у тебя есть твое сообщение. Можно выполнить, что задумано.

Далее код (код накидал на коленке, и практически не тестил, найдешь баги - пиши )

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
template <typename sizeT> 
class data_collector {
    sizeT m_data_len;
    std::vector<char> m_data; // блок для данных
    static const size_t size_of_size = sizeof(sizeT); // просто так, чтоб каждый раз не писать
public:
    virtual ~data_collector() {}
    data_collector()
        :m_data_len(0) // возможно есть другие идеи
    {}
    void push_data( const void *data, size_t len ) { // кладем данные в буфер ...
        const char * b = static_cast<const char *>(data);
        const char * e = b + len;
        m_data.insert(m_data.end(), b, e);
        process();  // ... и запускаем анализ
    }
private:
    void process() {
        if( m_data_len == 0 ) { // тут мы еще не в курсе, сколько нужно данных
            if( m_data.size( ) < sizeof(sizeT) ) return; // блок сильно мелкий
            union copy_int {
                char bytes[size_of_size];
                int  len;
            } len_data; // блок достаточен, копируем
            // (!!!! Huoma !!!) по поводу этого способа. Он, мягко говоря, некорректен (читать про порядок байт), но для примера сойдет
            std::copy( m_data.begin(), m_data.begin() + size_of_size, len_data.bytes ); 
            m_data_len = len_data.len;
            m_data.erase( m_data.begin(), m_data.begin() + size_of_size ); // убираем кусок с размером 
        } 
        if( m_data_len == 0 ) { // если мы сюда попали, то получили количество данных 
            // я сделал при нулевом блоке вызов колбека с соответствующими параметрами, ты можешь по другому обработать ситуацию
            callback(0, 0);
            process(); // обработаем оставшиеся данные; на самом деле можно обойтись без рекурсии
            return;
        } else if( m_data_len <= m_data.size() ) { // количество данных больше или равно длину
            std::vector<char> tmp(m_data.begin(), m_data.begin() + m_data_len); // вычитаем их 
            m_data.erase(m_data.begin(), m_data.begin() + m_data_len); // уничтожим в основном буфере 
            m_data_len = 0; // сбросим длину 
            callback(&tmp[0], tmp.size()); // дерним колбек
            process(); // уйдем на второй круг опять же отмечу, что рекурсия не обязательна
        }
    }
    virtual void callback( char *d, size_t len ) const { // колбек, который просто выводит все давнные на консоль, либо говорит о том, что получил нуль
        if( len == 0 ) {
            std::cout << "Zero callback recved!\n"; 
        }
        std::copy(d, d+len, std::ostream_iterator<char>(cout, ""));
    }
public: 
    sizeT need() const { // вернем количество нужных данных  до ближайшего полного блока
        if( m_data_len == 0) return 0; // не известно
        return m_data_len - static_cast<sizeT>(m_data.size());
    }
};
// по поводу класса:
// не безопасен при использовании одного экземпляра в нескольких потоках
// не слишком быстр, можно сделать быстрее
// можно отнаследоватся и переписать колбек, где и обработать сообщение
/// ... хм
Это класс-коллектор, который делает то, что описал выше. шаблонный параметр - тип для получения длины
использование:
C++
1
2
3
4
5
6
7
8
9
    data_collector<unsigned int> dc; // длина - 4 байта
    const char full_table[] = { // блок данных c 5-ю сообщениями одним куском
        8, 0, 0, 0, 'h', 'e', 'l', 'l', 'o', ',', ' ', ' ', // длина + сообщение
        0, 0, 0, 0, // пустое сообщение
        7, 0, 0, 0, 'w', 'o', 'r', 'l', 'd', '!', '\n',
        0, 0, 0, 0, 
        0, 0, 0, 0
    };
    dc.push_data(&full_table[0], sizeof(full_table));
вывод:
Code
1
2
3
4
hello,  Zero callback recved!
world!
Zero callback recved!
Zero callback recved!
А теперь представим ситуацию, когда блок побился (аж на 3 части )
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
   
    const char tect_table[] = {
        8, 0, 0, 0, 'h', 'e', 'l', 'l', 'o', ',', ' ', ' ',
        0, 0
    };
    const char tect2_table[] = {
        0, 0,
        7, 0, 0, 0, 'w'
    };
    const char tect3_table[] = {
        'o', 'r', 'l', 'd', '!', '\n',
        0, 0, 0, 0,
        0, 0, 0, 0
    };
    dc.push_data(&tect_table[0], sizeof(tect_table));
    dc.push_data(&tect2_table[0], sizeof(tect2_table));
    dc.push_data(&tect3_table[0], sizeof(tect3_table));
вывод:
Code
1
2
3
4
hello,  Zero callback recved!
world!
Zero callback recved!
Zero callback recved!
То есть тот же самый, что и требовалось. 2 сообщение и 3 нулевых сообщений.

Вот как-то так
И еще. Под виндой я код не тестил, но, думаю, проблем не должно быть.
из хедеров (для gcc): iostream, algorithm, iterator
0
188 / 120 / 4
Регистрация: 23.01.2010
Сообщений: 1,320
04.08.2012, 19:58
Цитата Сообщение от -=ЮрА=- Посмотреть сообщение
taras atavin, разбей свой блок данных на чати скажем по 2048 байт. Вконце каждого сообщения передавай сигнатуру смысловое содержание которой: Передавался пакет 10 из 256 пакетов. На серваке пакуй принятые пакеты в файл (если какой то пакет не дошёл в выходном файле 2048 его инфы зануляй, потом допишешь). Когда приёдёт последний пакет посмотри сколько пакетов потерялось и отправь на сервак запрос с просьбой допередавать по новой выбранные пакеты. Как по мне всё прозрачно и просто...
У меня студия функцию socket вызвать не могу отказываеться компелироваться, инклудник добавил все равно не как
0
04.08.2012, 20:20

Не по теме:

n971030, скриншот чтоли приложи, содай тему, покажи код. Если не компилиуется - это на 95% ты не так что то делаешь:pardon:

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
04.08.2012, 20:20

QTcp передача больших объемов данних...
Вопрос вообщем то так и стоит: как передать большой обем данних через сокети кьюта. Например картинку(байтмасив) или файлик.... ...

Свой сервер для хранения больших объемов информации
Подскажите пожалуйста. Сайт находится на платном хостинге, необходимо демонстрировать пользователям картинки и документы, которых свыше...

Какой массив использовать для хранения больших объёмов информации?
В целях саморазвития пишу программу для поиска дубликатов файлов по названию. Алгоритм типа такого: в отдельном потоке происходит запись...

Связь SpinButton и Frame для отображения больших объемов информации
Здравствуйте! У меня вопрос на счет связи SpinButton и Frame. Если у меня в фрейм загружается большое количество данных и они не помещаются...

Передача больших объемов данных c помощью MSXML2.XMLHTTP
Есть задача: VBA - рассылка больших объемов текста. Работа в локальной сети без привязок, к сторонним компонентам, к файрволам и т.д. ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
35
Ответ Создать тему
Новые блоги и статьи
Транслитерация текста с кириллицы на латиницу (вариант №5)
Maks 17.11.2026
Дабы оставить позади все споры о том, какая буква каким образом должна транслитерироваться на латиницу - решил таки доработать данное решение и довести его до мало-мальски логического завершения. . . .
Просмотровщик HLP и конвертер в CHM
Argus19 16.11.2026
Просмотровщик HLP и конвертер в CHM Давно хотел переделать справку Microsoft® Win32® Programmer's Reference, чтобы иметь её под рукой. Но использовать несколько программ не удобно. Искал другие. . .
BitTorrent (версия 7.11 English) и Меню Настройки
russiannick 15.11.2026
Пункты, отвечающие за отключение обновлений в BitTorrent версии 7. 11 (английской) Options Preferences General Language
Транслитерация текста с кириллицы на латиницу (вариант №4)
Maks 15.11.2026
Что-то я перемудрил с предыдущими версиями, в этот раз сделал всё проще, обратившись к функции "СтрокаЛатиницей" из типового общего модуля "СтроковыеФункцииКлиент". В данной функции нет апострофов,. . .
BitTorrent (версия 4.3.9) и Меню Настройки
russiannick 15.11.2026
В меню Настройки можно отключить автоматическое обновление программы. Карта этого меню приложена ниже. Нужный пункт выделен красным. Сервис Настройки Поведение
Транслитерация текста с кириллицы на латиницу (вариант №3)
Maks 15.11.2026
Обновленная версия предыдущей обработки. Изменения коснулись букв: Ъ, Ы, Ь, Э, отображения которых зависят от положения реквизита "Транслитерация имён". Изменено отображение буквы Й. Добавлена. . .
Транслитерация текста с кириллицы на латиницу (вариант №2)
Maks 13.11.2026
Обновленная версия ранее созданной обработки. Добавлено: - Проверка исходного текста на кириллицу, через обращение к стандартной функции "ТолькоКириллицаВСтроке" из общего модуля. . .
Часы с термометром и праздничным календарем
yariko 12.11.2026
Сегодня мы рассмотрим как можно сделать отличные многофункциональные часы. Итак, поставим конкретную задачу: разработать часы с календарем, двумя термодатчиками, выводом поздравительных сообщений. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru