Решение проблемы с высокой загрузкой сервера Redis

@vixa · Регистрация: 08.08.2011

Author24 — интернет-сервис помощи студентам

Всем привет. Пишу сервак, который принимает запросы и записывает данные в Redis. Столкнулся с такой проблемой.
В сутки прилетает 2 миллиона запросов (примерно 25 запросов в секунду) и Redis Сервер становится загружен на 100%.

Моя задача следующая:
1) У нас есть в базе Supply Tags, они содержат в себе Demand Tags. Деманд теги содержат в себе ссылку на XML файл, наш Supply тэг должен брать ссылку на xml подходящего нам деманда и сгененировать свой xml.

2) Я написал скрипт, который раз в 3 минуты выгружает из базы данных в редис ключи

Javascript

'vast:supply:'+supply_id+':domain:'+domain+':demand:1' = JSON.stringify({
   link: item.link, // ССылка на XML деманда
   requests: reqs,
   supply: supply,
   demand: demand,
   domain: domain
});

3) Обращение к серверу происходит по ссылке:
http://adserver.ru/tag/14?w={{WIDTH}}&h={{HEIGHT}}&url={{URL}}&cb={{CACHEBUSTER}}

/tag/14 - это идентификатор саплай тега

4) После того, как было такое обращение, наш саплай тэг сервер делает следующие веши:

- BW_List_Supply('supply_*_list:'+supply_id) // проверяю есть ли у данного саплай тега блек или вайт лист для доменов, с которых идет обращение к серверу

- Redis.keys('vast:supply:'+supply_id+':domain:'+referer+'*') // Получаем список всех демандов, которые доступны данному саплаю и реферу

- getDemandForShow(redis_keys) получаю доступный деманд тег, для показа из списка (У каждого деманда есть количество requests доступное для показа)

- проверяю доступный деманд тег на Black / White list

5) Если все окей, я возвращаю ссылку на xml данного деманда, парсю её, выдаю свой Xml.

Цыклов ни каких нету, сервер 48 ядер, 120 гб оперативки.
В среднем на серваке редиса лежит 150 тысяч ключей, которые каждые 5 минут обновляются.

в окне htop я вижу нагрузку на сервер 99-100%, что в моем коде может заставить редис нагрузится на 100%?

	19.12.2016, 17:16