Как ускорить отправку GET запроса

Поомогите найти решение. Подключаюсь через websocket к одной бирже, приходит большой поток информации,примерно 30-40 сообщений в секунду,каждое сообщение мне нужно сравнить с моими данными, если есть нужное, отправить GET запрос. Это нужно сделать максимально быстро, ускорил на сколько смог:
1) мои данный хранятся в словаре и запрашиваю их по ключу, вместо поиска в цикле(это оказалось примерно в 10 раз быстрее)
2) сообщение приходит типа str, но в формате json, нужные мне данные вырезаю что бы не созавать Json объект(это приблизительно в 15 раз быстрее)
3) get запросы отправляю через сессию(не могу оценить на сколько быстрее это происходит чем без сессии)
4) арендовал сервак в Торронто от туда самый маленький ping, тестировал через сервисы в интернете(запрос отправляется в 2 раза быстрее).
И это все мне ни как не помогло, другие боты все равно опережают. Среднее время анализа сообщения и сбор данных перед отправкой 0.0002 сек(до оптимизации было около 0.02), а время отправки запроса и получения ответа от 0.2 до 0.3 (но мне важно лишь получение ответа сервером, посчитать не знаю как, плюс оно еще всегда разное). Есть мысли реализовать это все в cython, либо вообще написать это на Си(пока не знаю как). Но перед тем как вновь тыкать пальцем в небо,решил поинтересоваться у людей которые возможно смогут направить меня на путь истинный.

P.S Скорее всего я оптимизировал не то что надо, потому-что понятно что основное время тратится именно на отправку запроса, пытался использовать библиотеки типа faster-than-requests,asincio,aiohttp,но ни что не помогло, возможно не умею гуглить, в общем буду рад любому совету.

0

4elove4ko, сколько соединений позволяет иметь сервер?

вряд ли тут дело в языке. Скорее всего код выполняется быстро, а задержки проявляются при передаче по сети. Можно попробовать организовать конвейер - с определённым интервалом запускать соединения, результаты тоже будут приходить примерно с таким же интервалом. Затем можно будет попробовать распараллелить на потоки

Добавлено через 2 минуты
ага, я невнимательно прочитал. Оказывается, сначала приходят запросы. Тогда остаётся подключать многопоточную обработку

0

т е получается каждое сообщение которое приходит по веб сокету, проверяется по очереди? И из-за этого грубо говоря накапливается стэк сообщений, так?

Добавлено через 11 минут
Но блин, я даже не знаю если в момент придет 10 сообщений программе понадобится 0.001 сек что-бы их обработать, конечно все равно попробую. Но я больше думал о том что когда создается запрос на сервер, сначала вроде как по домену ищется IP и уже после этого отправляется запрос на IP(не уверен но почему-то у меня такое понимание было) и я вот думал что я же могу вбить IP вручную(тогда сократиться время на поиск(хотя возможно открытая сессия это и делает?)), но как это сделать и что из этого получится не понимаю, а возможно уже бред в голову приходит. Сижу уже 4 суток над этим вопросом голова взрывается

0

4elove4ko,что-то мне подсказывает, что реально задержка вовсе не в программе (пропарсить, найти по ключу - это всё очень быстро), а в долгом ответе на GET от сервера (и это скорее всего именно так). Можно отправлять запросы не дожидаясь ответа, а ответы принимать асинхронно.

1

Сообщение от 4elove4ko 3) get запросы отправляю через сессию(не могу оценить на сколько быстрее это происходит чем без сессии)

На каждую установку tcp-соединения тратится примерно 100-200 мс. Апгрейд протокола до websockets - ещё 200-400 мс.

Меня смущает наличие слов websocket и get-запроса в одной фразе. Вы ничего не путаете? Может, вы просто дёргаете api сайта через http(s)?

Добавлено через 1 минуту
Кажется распутал: у вас два соединения.

Добавлено через 6 минут
Могу предложить такую архитектуру программы:

1) воркеры для обработки входящих сообщений от сервера
2) главный поток, который читает данные из websocket'а и кладёт распарсенные сообщения (без обработки! Только выделяет их) в очередь для дальнейшей обработки их воркерами.
3) воркеры для ответа. В каждом открыто по https-соединению с сервером. Читают из очереди данные и немедленно отправляют их на сервер. Можно ещё вызвать s.flush() для гарантированной отправки.

Структура потока данных:
websocket -> очередь1 -> воркеры с бизнес-логикой -> очередь2 -> воркеры с сетью -> сервер

Добавлено через 1 минуту

Сообщение от 4elove4ko , сначала вроде как по домену ищется IP и уже после этого отправляется запрос на IP(не уверен но почему-то у меня такое понимание было) и я вот думал что я же могу вбить IP вручную(тогда сократиться время на поиск(хотя возможно открытая сессия это и делает?)),

Время на это тратится один раз. Если сессии использовать, то соединение будет переиспользоваться и этих задержек больше не будет.

3

На каждую установку tcp-соединения тратится примерно 100-200 мс. Апгрейд протокола до websockets - ещё 200-400 мс. Меня смущает наличие слов websocket и get-запроса в одной фразе. Вы ничего не путаете? Может, вы просто дёргаете api сайта через http(s)? Добавлено через 1 минуту Кажется распутал: у вас два соединения. Добавлено через 6 минут Могу предложить такую архитектуру программы: 1) воркеры для обработки входящих сообщений от сервера 2) главный поток, который читает данные из websocket'а и кладёт распарсенные сообщения (без обработки! Только выделяет их) в очередь для дальнейшей обработки их воркерами. 3) воркеры для ответа. В каждом открыто по https-соединению с сервером. Читают из очереди данные и немедленно отправляют их на сервер. Можно ещё вызвать s.flush() для гарантированной отправки. Структура потока данных: websocket -> очередь1 -> воркеры с бизнес-логикой -> очередь2 -> воркеры с сетью -> сервер

Как можно с тобой связаться? У меня подобная проблема, но реализовать твой совет самостоятельно пока не смогу

0

Сообщение от Рыжий Лис Структура потока данных: websocket -> очередь1 -> воркеры с бизнес-логикой -> очередь2 -> воркеры с сетью -> сервер

предлагаю проапгрейдить предложение,- не очередь а асинхронная обработка, возможно с процессами-демонами-
те один запрос одна программа (имеется ввиду, заранее запущеная и готовая к обработке то есть так:
сокет->отдать демонам (данные передавать по shmop)->демоны->получить данные и отправить их(тк скорее всего с разных портов будет низя)

0

Сообщение от user-ganz предлагаю проапгрейдить предложение,- не очередь а асинхронная обработка, возможно с процессами-демонами- те один запрос одна программа (имеется ввиду, заранее запущеная и готовая к обработке то есть так: сокет->отдать демонам (данные передавать по shmop)->демоны->получить данные и отправить их(тк скорее всего с разных портов будет низя)

Мне нужен человек, который в силах это все реализовать, естественно не бесплатно)
Если тут есть желающие поучаствовать - велкам, пишите на почту nikita.chaika.d@gmail.com.
Если есть ребята из Москвы - вообще идеально

0

Сообщение от nekto_chayka естественно не бесплатно)

предлагаю создать тему во "фриланс" - отбоя от желающих не будет (главное не пугай их сразу страшными словами DDDDD)
сам, увы, не могу,- занят, так что нет гарантии что доведу проект до конца.
но пара часов есть, если нет ни каких тайн то кидай код в ветку пока есть время гляну, естественно бесплатно и без смс

0

Сообщение от user-ganz предлагаю создать тему во "фриланс" - отбоя от желающих не будет (главное не пугай их сразу страшными словами DDDDD) сам, увы, не могу,- занят, так что нет гарантии что доведу проект до конца. но пара часов есть, если нет ни каких тайн то кидай код в ветку пока есть время гляну, естественно бесплатно и без смс

Код могу скинуть, но толку мало будет, сейчас пользуюсь библиотекой CCXT Pro и та часть кода, которая могла бы что-то сказать о процессе находится внутри либы, сам в сокетах пока не разбирался. Возможно буду изучать подробно тему сокетов, писать свою либу, чтобы в ней реализовать задуманный план. Но проще и, что немаловажно, быстрее было бы оплатить спеца, который уже все это знает и умеет

0

Сообщение от nekto_chayka CCXT Pro

гугл сказал что это яваскрипт. а он по определению медленный, можешь скинуть сервера куда отправляются запросы, то есть использование явы обязательно или нет?

Сообщение от nekto_chayka писать свою либу

, здесь уже нужны сишники (C)

Сообщение от nekto_chayka оплатить спеца

знающего ccxt и python и С? шансы близки к нулю, либо им платить надо столько, что проще самому выучить

0