Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений (1)

Шардинг и горизонтальное масштабирование ботов

Вертикальное масштабирование упирается в физические границы железа довольно быстро. У меня был момент когда бот обрабатывал 300 тысяч пользователей на сервере с 32 гигами RAM и 16 ядрами....

Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений (2)

Каждый день через экосистему телеграм-ботов проходит 15 миллиардов сообщений. Не в теории, а прямо сейчас - пока читаешь этот абзац, где-то обрабатывается несколько миллионов запросов. Десять миллионов активных ботов обслуживают миллиард пользователей, и это уже не просто автоответчики с парой команд.

Я помню, как лет пять назад запустил своего первого бота на VPS за 5...

Последние несколько лет я постоянно сталкивался с одной и той же проблемой — как выжать максимум производительности из Go без жертвы читабельностью кода. С выходом Go 1.25 эта дилемма, кажется, начинает решаться на уровне самого языка.

Profile-Guided Optimization: из экспериментальной фичи в надежный инструмент

Наконец-то PGO (Profile-Guided Optimization) стабилизирована! Это больше не экспериментальная...

Шесть лет назад я впервые столкнулся с тем, что впоследствии стало моим худшим кошмаром — монолитным приложением на два с половиной миллиона строк кода. Десятки разработчиков годами вносили изменения, и система превратилась в неуправляемого монстра. Я помню, как...

Records в C# - это, по сути, синтаксический сахар над обычными классами и структурами. Но какой же это вкусный сахар! Если говорить совсем просто - это специальный тип данных, разработанный Microsoft для моделирования неизменяемых объектов, которые представляют данные, а не поведение. Вот простейший пример записи:

Это всё! Одна строчка кода, и у нас...

Давай я расскажу, что происходит в большинстве проектов, с которыми мне приходилось работать. Вначале всё выглядит прекрасно: чистые интерфейсы, продуманные абстракции, явные зависимости. А через полгода код превращается в запутанный клубок спагетти, где любое...

Когда три года назад передо мной встала задача реинжинирить платформу электронной коммерции с нуля, я долго размышлял над выбором языка. Java показалась слишком прожорливой по памяти, Go - слишком примитивной для сложной бизнес-логики, а вот Rust... Rust заставил меня пересмотреть весь подход к архитектуре распределенных систем.

Зачем Rust для микросервисов в облаке

Честно говоря, первый опыт с Rust был болезненным....

Начало: Event-Driven архитектуры в C# - выбираем правильного брокера сообщений

Azure Service Bus - облачное решение от Microsoft

Когда все твои сервисы крутятся в облаке Microsoft, ставить на продакшн самостоятельно настроенную Kafka или RabbitMQ часто становится излишней головной болью. Именно поэтому последние...

Недавно я консультировал проект интернет-магазина, где для оформления заказа требовалось последовательно вызывать сервисы: корзины, проверки доступности товаров, расчета доставки, создания заказа, списания средств. Типичная картина! Но что происходило, когда...

Когда я впервые столкнулся с Apache Kafka, меня поразила его архитектура, заточеная под асинхронное взаимодействие. Этот брокер сообщений, созданный изначально в недрах LinkedIn, а сейчас развиваемый Apache Foundation, проектировался как высокопроизводительная шина для потоковой обработки данных, где сообщения публикуются, хранятся в упорядоченых логах и затем потребляются одним или несколькими получателями.

Введение в Request-Reply паттерн в Kafka

...

Как только вы начинаете работать с микросервисами, сразу сталкиваетесь с одной из самых коварных проблем – управлением транзакциями. Как-то на одном из проектов мы с командой чуть не сломали головы, пытаясь обеспечить согласованность данных между сервисами заказов,...

AWS Lambda - сервис бессерверных вычислений от Amazon, который в корне меняет подход к созданию бэкенд-систем. За 15 лет работы архитектором я перепробовал множество подходов - от выделенных серверов до контейнеров, но Lambda предлагает нечто принципиально иное. Она полностью...

Когда я впервые взялся за проектирование облачной платформы для одного из наших клиентов, выбор стоял между привычными Go и Java. Но после нескольких месяцев разработки микросервисной системы, которая трещала по швам под нагрузкой, пришлось искать альтернативы. И тут на сцену вышел Rust - язык, который я раньше пробовал только для системного программирования.

Что делает Rust таким привлекательным...

Когда я только начинал с микросервисами, все спорили о том, какой язык юзать. Сейчас Go (или Golang) фактически захватил эту нишу. И вот почему этот язык настолько заходит для этих задач:

• Конкурентность в Go — это бомба. Горутины и каналы вшиты в ядро языка, а не приколочены сверху как в других языках. Помню, написал сервис, который легко держал 100к соеденений на средненьком железе. На Java такое без адской настройки и тюнинга нереально

...

За последние несколько лет сложность корпоративных приложений выросла в геометрической прогрессии. Простые монолитные системы уступили место распределенным микросервисам, а нагрузка на корпоративные приложения достигла невиданных ранее масштабов. Трациционные...

Что такое эта "луковая" архитектура? Термин предложил Джеффри Палермо (Jeffrey Palermo) в 2008 году, и с тех пор подход только набирал обороты. Суть проста - представьте себе лук с его концентрическими слоями. В центре находится ядро приложения с бизнес-логикой и доменными...

Кажется, Microsoft снова подкинула нам интересную фичу в новой версии фреймворка. Работая с превью .NET 10, я наткнулся на нативную поддержку Server-Sent Events (SSE) в ASP.NET Core Minimal APIs. Эта технология наконец-то получила официальное признание и реализацию в экосистеме .NET, что лично меня очень порадовало.

За последние годы я перепробовал кучу подходов к реализации передачи данных в реальном времени: от примитивного polling до WebSocket и SignalR. И...

Многие годы я разрабатывал приложения на C#, используя классы для всего подряд - и мне это казалось естественным. Но со временем, особенно в крупных проектах, я стал замечать, что простые классы данных создают целый ворох проблем, которые отнимают уйму времени и нервов. Возьмем классический пример класса для передачи данных:

...

Знаете, в мире ORM-инструментов для .NET существует негласная иерархия. На вершине массивных фреймворков возвышается Entity Framework - неповоротливый, но всемогущий. А в категории легковесных решений уже много лет безраздельно царствует Dapper. И хотя сейчас появилось немало альтернатив, я продолжаю возвращаться к этому инструменту...

В традиционной модели происходит примерно следующее: вы получаете команду, обрабатываете ее, сохраняете результат в базу данных и затем пытаетесь опубликовать событие в брокер сообщений. Но что если публикация не удалась? Или что если публикация прошла успешно,...

Вы переводите деньги со своего счета на счет друга. Казалось бы, что может быть проще? Вы открываете приложение банка, вводите сумму, жмете кнопку - и деньги мгновенно переходят с одного счета на другой. Но что происходит, если в момент транзакции связь между серверами...

Для .NET разработчиков работа с Kafka традиционно сопряжена с определенными трудностями. Официальный клиент Confluent хорош, но часто требует написания большого количества шаблонного кода. Многие разработчики тратят дни, разбираясь с настройками сериализации — это настоящее...

.NET Aspire — новый продукт в линейке Microsoft, который вызвал настоящий ажиотаж среди разработчиков облачных приложений. Компания называет его "опинионированным, облачно-ориентированным стеком для создания наблюдаемых, готовых к промышленному использованию распределенных...

Среди множества претендентов на корону "идеального ORM" особое место занимает Linq2Db — микро-ORM, балансирующий между мощью полноценных инструментов и легковесностью ручного написания SQL.

Что такое микро-ORM? Вообще, это своеобразный подход к объектно-реляционному...

DDD — это настоящий спасательный круг для проектов со сложной бизнес-логикой. Подход, предложенный Эриком Эвансом, позволяет создавать элегантные решения, которые точно отражают реальную предметную область и могут эволюционировать вместе с ней. Java, со своей строгой типизацией и объектно-ориентированной природой, идеально подходит для воплощения принципов DDD. Однако дьявол,...

CQRS — Command Query Responsibility Segregation, или разделение ответственности команд и запросов. Суть этого архитектурного паттерна проста: операции чтения данных (запросы) отделяются от операций изменения данных (команды). Многим эта идея покажется странной – зачем вообще что-то...

Каждый, кто хоть раз пытался "растянуть" классическую СУБД на несколько серверов, знаком с тем странным ощущением, когда кажется, что система сопротивляется вашим усилиям. И это не просто ощущение — это фундаментальный архитектурный конфликт, заложенный в самой ДНК реляционных баз данных.

Рождение монолита: как реляционные СУБД захватили мир

История реляционных СУБД начинается в 1970 году с публикации знаменитой статьи Эдгара Кодда. В...

Мир разработки ПО стремительно меняется — монолитные приложения уступают место гибким, масштабируемым архитектурам. Микросервисы давно превратились из модного словечка в реальную производственную необходимость, особенно когда дело касается крупных распределённых систем. А платформа .NET, с её мощным C#, предоставляет отличный инструментарий для создания таких систем. Я помню времена, когда мы радостно...

Микросервисы — архитектурный подход, разбивающий сложные приложения на небольшие, независимые компоненты. Вместо монолитного гиганта, система превращается в созвездие небольших взаимодействующих сервисов. По своей сути, это как качественно организованный оркестр,...

Микросервисная архитектура принесла с собой много преимуществ — возможность независимого масштабирования сервисов, технологическую гибкость и четкое разграничение ответственности. Но как часто бывает в программной инженерии, решая одни проблемы, мы создаем...