Форум программистов, компьютерный форум, киберфорум
Kafka
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
Старый
Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений (2)
Запись от ArchitectMsa размещена 23.10.2025 в 13:11 / Microservice it all!
Показов 6649 Комментарии 0

Нажмите на изображение для увеличения
Название: Шардинг и горизонтальное масштабирование ботов.jpg
Просмотров: 813
Размер:	179.6 Кб
ID:	11330
Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений (1)

Шардинг и горизонтальное масштабирование ботов



Вертикальное масштабирование упирается в физические границы железа довольно быстро. У меня был момент когда бот обрабатывал 300 тысяч пользователей на сервере с 32 гигами RAM и 16 ядрами....
Аватар для ArchitectMsa
Старый
Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений (1)
Запись от ArchitectMsa размещена 23.10.2025 в 13:05 / Microservice it all!. Обновил(-а) ArchitectMsa 23.10.2025 в 13:11
Показов 6903 Комментарии 0

Нажмите на изображение для увеличения
Название: Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений.jpg
Просмотров: 643
Размер:	209.9 Кб
ID:	11325
Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений (2)

Каждый день через экосистему телеграм-ботов проходит 15 миллиардов сообщений. Не в теории, а прямо сейчас - пока читаешь этот абзац, где-то обрабатывается несколько миллионов запросов. Десять миллионов активных ботов обслуживают миллиард пользователей, и это уже не просто автоответчики с парой команд.

Я помню, как лет пять назад запустил своего первого бота на VPS за 5...
Аватар для ArchitectMsa
Старый
Партиционирование Kafka и доставка сообщений из нескольких партиций
Запись от JVM_Whisperess размещена 18.10.2025 в 20:15
Показов 6325 Комментарии 0

Нажмите на изображение для увеличения
Название: Партиционирование Kafka.jpg
Просмотров: 597
Размер:	71.3 Кб
ID:	11314
Когда впервые сталкиваешься с Kafka, партиции кажутся простой технической деталью - ну разбили топик на части, и что? Типичная ошибка джуна, которую я сам совершал лет семь назад. Тогда на проекте в финтехе мы обрабатывали платежные транзакции, и я наивно полагал, что...
Аватар для JVM_Whisperess
Старый
Полиглотные Event-Driven системы с Kafka, RabbitMQ и gRPC на Java, Go и Node.js
Запись от ArchitectMsa размещена 13.10.2025 в 20:34 / Microservice it all!
Показов 4900 Комментарии 0

Нажмите на изображение для увеличения
Название: Полиглотные Event-Driven системы с Kafka, RabbitMQ и gRPC на Java, Go и Node.js.jpg
Просмотров: 606
Размер:	60.4 Кб
ID:	11281
В 2019 году я столкнулся с любопытной ситуацией. Команда запускала новый сервис рекомендаций на Python - модели машинного обучения требовали NumPy и TensorFlow. Основное приложение работало на Java, а фронтенд крутился на Node.js. И вот появилась задача: связать все это в единую систему, где заказы создаются через веб, обрабатываются на бэкенде, а рекомендации генерируются...
Аватар для ArchitectMsa
Старый
Event-Driven архитектура с Kafka: Outbox Pattern, Exactly-Once и идемпотентные консьюмеры
Запись от ArchitectMsa размещена 09.10.2025 в 21:41 / Microservice it all!
Показов 6309 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектура с Kafka.jpg
Просмотров: 659
Размер:	161.8 Кб
ID:	11274
Представь: твой сервис успешно записал заказ в базу, отправил событие в Kafka, а через секунду всё упало. Заказ есть, событие... может быть есть, а может нет. Или их теперь три копии, потому что продюсер героически ретраился. Склад списал товар дважды, бухгалтерия насчитала...
Аватар для ArchitectMsa
Старый
Kafka и SQS: сравнение инструментов потоковой передачи
Запись от IndentationError размещена 30.08.2025 в 16:17 / AI coming for you
Показов 5434 Комментарии 0

Нажмите на изображение для увеличения
Название: Kafka и SQS сравнение инструментов потоковой передачи.jpg
Просмотров: 389
Размер:	187.2 Кб
ID:	11089
Сегодня я хочу поговорить о двух титанах в мире потоковой передачи данных: Apache Kafka и Amazon SQS. Или, как я их называю - "тяжелая артилерия" и "снайперская винтовка" в арсенале современного архитектора. Каждый инструмент имеет свои особенности, силу, слабости,...
Аватар для IndentationError
Старый
Event-Driven архитектуры в C# - сравнение брокеров и выбор решения
Запись от ArchitectMsa размещена 11.08.2025 в 17:51 / Microservice it all!. Обновил(-а) mik-a-el 11.08.2025 в 18:40
Показов 4737 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектуры в C# - практическое сравнение и выбор решения.jpg
Просмотров: 418
Размер:	155.7 Кб
ID:	11046
Начало: Event-Driven архитектуры в C# - выбираем правильного брокера сообщений

Azure Service Bus - облачное решение от Microsoft



Когда все твои сервисы крутятся в облаке Microsoft, ставить на продакшн самостоятельно настроенную Kafka или RabbitMQ часто становится излишней головной болью. Именно поэтому последние...
Аватар для ArchitectMsa
Старый
Event-Driven архитектуры в C# - выбираем правильного брокера сообщений
Запись от ArchitectMsa размещена 10.08.2025 в 19:39 / Microservice it all!
Показов 5634 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектуры в C# - выбираем правильного посредника сообщений.jpg
Просмотров: 425
Размер:	163.7 Кб
ID:	11045
Недавно я консультировал проект интернет-магазина, где для оформления заказа требовалось последовательно вызывать сервисы: корзины, проверки доступности товаров, расчета доставки, создания заказа, списания средств. Типичная картина! Но что происходило, когда...
Аватар для ArchitectMsa
Старый
Рейтинг: 5.00. Голосов: 1.
Data Science и C#. Кейсы
Запись от stackOverflow размещена 06.08.2025 в 11:27
Показов 5354 Комментарии 0

Нажмите на изображение для увеличения
Название: Data Science и C# 2.jpg
Просмотров: 616
Размер:	246.8 Кб
ID:	11039
[Начало] Теория теорией, но как говорил мой первый тимлид: "Работает - значит работает". Давайте разберем реальные проекты, где C# показал себя в деле анализа данных и машинного обучения. Я выбрал несколько показательных кейсов из своей практики последних лет.

Анализ производительности на больших датасетах



Один из самых показательных проектов был связан с анализом логов телекоммуникационного...
Аватар для stackOverflow
Старый
Spring Kafka - синхронные и асинхронные запросы
Запись от Javaican размещена 01.08.2025 в 20:30 / Making Java great for ever
Показов 7314 Комментарии 0

Нажмите на изображение для увеличения
Название: Spring Kafka - синхронные и асинхронные запросы.jpg
Просмотров: 446
Размер:	183.8 Кб
ID:	11026
Когда я впервые столкнулся с Apache Kafka, меня поразила его архитектура, заточеная под асинхронное взаимодействие. Этот брокер сообщений, созданный изначально в недрах LinkedIn, а сейчас развиваемый Apache Foundation, проектировался как высокопроизводительная шина для потоковой обработки данных, где сообщения публикуются, хранятся в упорядоченых логах и затем потребляются одним или несколькими получателями.

Введение в Request-Reply паттерн в Kafka


...
Аватар для Javaican
Старый
Real-time коммуникация клиент-сервер с SignalR и C#
Запись от stackOverflow размещена 20.07.2025 в 12:33
Показов 4365 Комментарии 0

Нажмите на изображение для увеличения
Название: Real-time коммуникация клиент-сервер с SignalR и C#.jpg
Просмотров: 409
Размер:	208.8 Кб
ID:	11003
Вы когда-нибудь задумывались, почему большинство современных веб-приложений работают так медленно? Классическая модель запрос-ответ, на которой построен весь интернет, давно трещит по швам. Я годами наблюдал, как разработчики пытались выжать максимум из этой устаревшей...
Аватар для stackOverflow
Старый
Облачные приложения на Rust: руководство по архитектуре микросервисов
Запись от golander размещена 13.07.2025 в 20:47 / go go just go
Показов 13446 Комментарии 3

Нажмите на изображение для увеличения
Название: Облачные приложения на Rust руководство по архитектуре микросервисов.jpg
Просмотров: 406
Размер:	234.8 Кб
ID:	10979
Когда я впервые взялся за проектирование облачной платформы для одного из наших клиентов, выбор стоял между привычными Go и Java. Но после нескольких месяцев разработки микросервисной системы, которая трещала по швам под нагрузкой, пришлось искать альтернативы. И тут на сцену вышел Rust - язык, который я раньше пробовал только для системного программирования.

Что делает Rust таким привлекательным...
Аватар для golander
Старый
Полиглотные микросервисы на C# и .NET
Запись от ArchitectMsa размещена 30.06.2025 в 21:32 / Microservice it all!
Показов 4891 Комментарии 0

Нажмите на изображение для увеличения
Название: Полиглотные микросервисы на C# и .NET.jpg
Просмотров: 412
Размер:	84.9 Кб
ID:	10944
Полиглотная архитектура появилась не из желания усложнить жизнь разработчикам. Она родилась из практической необходимости решать разные задачи наиболее эффективным способом.

В одном из проектов мы столкнулись с классической дилеммой: наш основной API на C# отлично справлялся с CRUD операциями и бизнес-логикой, но когда понадобилось добавить анализ тональности текста и...
Аватар для ArchitectMsa
Старый
Обработка Big Data на C#
Запись от stackOverflow размещена 29.05.2025 в 21:36
Показов 2572 Комментарии 0

Нажмите на изображение для увеличения
Название: c810d91b-b101-42b4-bba4-25ef70aba248.jpg
Просмотров: 345
Размер:	75.0 Кб
ID:	10855
C# традиционно оставался в тени Java, Python и Scala, когда речь заходила о работе с большими данными. Многие считали, что .NET недостаточно зрелая для таких задач. Но времена изменились. Язык C# превратился в настоящего тяжеловеса для обработки масштабных массивов информации, а с выходом C# 14 и .NET 9 появился целый арсенал инструментов, заточенных специально...
Аватар для stackOverflow
Старый
CAP-теорема или почему идеальной распределенной системы не существует
Запись от ArchitectMsa размещена 28.05.2025 в 16:01 / Microservice it all!
Показов 3557 Комментарии 0

Нажмите на изображение для увеличения
Название: 97e95119-0c60-4680-ba0a-152d1b634505.jpg
Просмотров: 341
Размер:	151.9 Кб
ID:	10852
Вы переводите деньги со своего счета на счет друга. Казалось бы, что может быть проще? Вы открываете приложение банка, вводите сумму, жмете кнопку - и деньги мгновенно переходят с одного счета на другой. Но что происходит, если в момент транзакции связь между серверами...
Аватар для ArchitectMsa
Старый
Рейтинг: 5.00. Голосов: 1.
Event-Driven приложения с Apache Kafka и KafkaFlow в .NET
Запись от stackOverflow размещена 26.05.2025 в 20:50
Показов 3908 Комментарии 0

Нажмите на изображение для увеличения
Название: d74997f4-fb96-476a-b5e2-51fedbecd61c.jpg
Просмотров: 451
Размер:	209.7 Кб
ID:	10850
Для .NET разработчиков работа с Kafka традиционно сопряжена с определенными трудностями. Официальный клиент Confluent хорош, но часто требует написания большого количества шаблонного кода. Многие разработчики тратят дни, разбираясь с настройками сериализации — это настоящее...
Аватар для stackOverflow
Старый
Kubernetes с Apache Flink для обработки данных в реальном времени
Запись от Mr. Docker размещена 17.05.2025 в 10:19 / Docking everything, K8s anything
Показов 6641 Комментарии 0

Нажмите на изображение для увеличения
Название: 85d0647b-9d21-41f4-a9b2-1e03b4f3ec01.jpg
Просмотров: 337
Размер:	200.0 Кб
ID:	10818
Kubernetes — это целая философия управления распределёнными приложениями. В отличие от "примитивных" решений вроде Docker Swarm, K8s (как его ласково называют в тусовке DevOps-инженеров) предлагает гораздо более зрелый и продвинутый подход. Основная архитектура Kubernetes включает в себя мастер-ноды, которые координируют работу кластера, и рабочие...
Аватар для Mr. Docker
Старый
Использование вебсокетов в приложениях Java с Netty
Запись от Javaican размещена 16.05.2025 в 18:32 / Making Java great for ever
Показов 7187 Комментарии 0

Нажмите на изображение для увеличения
Название: d49f00f7-419f-4be2-b6c7-22ad988bf82c.jpg
Просмотров: 275
Размер:	175.2 Кб
ID:	10813
HTTP, краеугольный камень интернета, изначально был спроектирован для передачи гипертекста с минимальной интерактивностью. Его главный недостаток в контексте современных приложений — это однонаправленость коммуникации: сервер не может инициировать отправку...
Аватар для Javaican
Старый
Apache Camel и Apache Kafka - в чем разница?
Запись от ArchitectMsa размещена 09.05.2025 в 12:06 / Microservice it all!
Показов 2889 Комментарии 0
Метки apache, architecture, camel, kafka

Нажмите на изображение для увеличения
Название: 8e70ee5b-88a7-400f-b3cb-7dbe8a61fc0d.jpg
Просмотров: 246
Размер:	57.3 Кб
ID:	10774
Apache Camel и Apache Kafka — не конкуренты, а скорее инструменты из разных категорий одного большого набора. Если Camel — это швейцарский нож интеграции, предлагающий решение для соединения почти любых систем, то Kafka — высокопроизводительный конвейер для передачи огромных...
Аватар для ArchitectMsa
Старый
Confluent Kafka Go и потоковые приложения в реальном времени на Golang
Запись от golander размещена 03.05.2025 в 20:17 / go go just go
Показов 3528 Комментарии 0

Нажмите на изображение для увеличения
Название: 0e23c15e-8b21-486c-a2b9-a2fdca2f6ca4.jpg
Просмотров: 275
Размер:	168.8 Кб
ID:	10728
Мир обработки данных перевернулся, когда в 2011 году LinkedIn открыл исходный код Kafka – распределённой системы передачи сообщений, разработанной для внутренних нужд компании. Изначально Кафка создавалась как решение для сбора и анализа пользовательской активности...
Аватар для golander
Старый
Apache Kafka vs RabbitMQ в микросервисной архитектуре
Запись от ArchitectMsa размещена 25.04.2025 в 13:13 / Microservice it all!
Показов 4838 Комментарии 0

Нажмите на изображение для увеличения
Название: fe1d2e6a-463c-46f7-ad38-799fee616b73.jpg
Просмотров: 246
Размер:	235.6 Кб
ID:	10652
Современная разработка ПО всё чаще склоняется к микросервисной архитектуре — подходу, при котором приложение разбивается на множество небольших, автономных сервисов. В этой распределённой среде критически важна эффективная коммуникация между компонентами,...
Аватар для ArchitectMsa
Старый
Шаблоны и протоколы для создания устойчивых микросервисов
Запись от ArchitectMsa размещена 19.04.2025 в 10:06 / Microservice it all!
Показов 4542 Комментарии 0

Нажмите на изображение для увеличения
Название: 24fb8dca-eead-449d-9708-a3005e2dc6b4.jpg
Просмотров: 363
Размер:	139.4 Кб
ID:	10615
Микросервисы — архитектурный подход, разбивающий сложные приложения на небольшие, независимые компоненты. Вместо монолитного гиганта, система превращается в созвездие небольших взаимодействующих сервисов. По своей сути, это как качественно организованный оркестр,...
Аватар для ArchitectMsa
Старый
Погружение в Kafka: Концепции и примеры на C# с ASP.NET Core
Запись от stackOverflow размещена 18.04.2025 в 11:03
Показов 13104 Комментарии 0

Нажмите на изображение для увеличения
Название: 8346d751-d0a5-475c-94a6-39bdac22b4d7.jpg
Просмотров: 348
Размер:	164.3 Кб
ID:	10607
Apache Kafka изменила подход к обработке данных в распределенных системах. Эта платформа потоковой передачи данных выходит далеко за рамки обычной шины сообщений, предлагая мощные возможности, которые трансформировали архитектуру многих современных приложений.

Что такое Kafka и зачем она нужна



Apache Kafka – распределенная платформа потоковой передачи данных, которая по сути представляет...
Аватар для stackOverflow
Старый
Управление топиками и разделами Kafka
Запись от Javaican размещена 11.04.2025 в 21:54 / Making Java great for ever
Показов 7427 Комментарии 0
Метки apache, java, kafka

Нажмите на изображение для увеличения
Название: d95d2181-24e0-43a6-81b9-35fd07f266e1.jpg
Просмотров: 243
Размер:	224.0 Кб
ID:	10579
Apache Kafka — распределенная платформа потоковой передачи данных, которая стала стандартом для построения высоконагруженных систем обмена сообщениями. В современной архитектуре микросервисов, IoT-решений и аналитики реального времени Kafka выступает ключевым звеном,...
Аватар для Javaican
Старый
Подключение Kafka к Elasticsearch
Запись от Codd размещена 09.04.2025 в 19:10 / Data... Everywhere
Показов 5410 Комментарии 0

Нажмите на изображение для увеличения
Название: 97b61b4f-21d4-47f6-8d61-0107e5b9536f.jpg
Просмотров: 252
Размер:	236.5 Кб
ID:	10566
Apache Kafka и Elasticsearch — две мощные технологии, которые при совместном использовании создают эффективную платформу для обработки и анализа данных в реальном времени. Kafka, выступая в роли распределенной системы потоковой передачи сообщений, позволяет надежно передавать...
Аватар для Codd
Старый
Реализация Event-Driven архитектуры с RabbitMQ и Kafka в Nest.js
Запись от ArchitectMsa размещена 09.04.2025 в 16:09 / Microservice it all!
Показов 3436 Комментарии 0

Нажмите на изображение для увеличения
Название: 4663bd1c-2017-4e0e-abc4-2975752e4c22.jpg
Просмотров: 240
Размер:	161.9 Кб
ID:	10560
В монолитных системах сервисы обычно общаются напрямую через HTTP-запросы. Простой подход, удобный для начала разработки — но что происходит, когда система растёт? Синхронное взаимодействие быстро превращается в узкое место, тормозящее масштабирование.

...
Аватар для ArchitectMsa
Старый
Обмен данными в микросервисной архитектуре
Запись от ArchitectMsa размещена 06.04.2025 в 22:00 / Microservice it all!
Показов 6962 Комментарии 0

Нажмите на изображение для увеличения
Название: 63f23c83-62a4-4109-a339-6a1a6cae127d.jpg
Просмотров: 308
Размер:	202.0 Кб
ID:	10546
Когда разработчики начинают погружаться в мир микросервисов, они часто сталкиваются с парадоксальным правилом: "два сервиса не должны делить один источник данных". Эта мантра звучит повсюду в профессиональных кругах, и многие воспринимают её слишком буквально....
Аватар для ArchitectMsa
Старый
Разбиваем монолит на два микросервиса и реализуем CI/CD
Запись от ArchitectMsa размещена 20.03.2025 в 09:44 / Microservice it all!
Показов 3705 Комментарии 0

Нажмите на изображение для увеличения
Название: 4caa3757-393a-43c3-98c1-9a15abaaf3ea.jpg
Просмотров: 273
Размер:	212.5 Кб
ID:	10472
Когда команда растет, а функциональность монолита расширяется, поддерживать и развивать такую систему становится все труднее. Разработчики начинают тратить много времени на разбор сложных зависимостей, а внесение изменений в одну часть приложения может неожиданно...
Аватар для ArchitectMsa
Старый
Позиционировани­е Kafka Consumer и Seek-операции
Запись от Javaican размещена 17.03.2025 в 12:08 / Making Java great for ever
Показов 4442 Комментарии 0
Метки apache, java, kafka, microservices

Нажмите на изображение для увеличения
Название: 3629b240-eadf-49c1-a6a3-fa5e7496d0fb.jpg
Просмотров: 210
Размер:	222.3 Кб
ID:	10436
Что же такое Consumer Seek в Kafka? По сути, это API-метод, который позволяет программно указать, с какой позиции (offset) Consumer должен начать или продолжить чтение данных из партиции. Без этого механизма потребители Kafka обычно просто последовательно обрабатывают сообщения, начиная...
Аватар для Javaican
Старый
Реактивное программировани­е с Kafka Stream и Spring WebFlux
Запись от Javaican размещена 16.03.2025 в 18:36 / Making Java great for ever
Показов 2239 Комментарии 0

Нажмите на изображение для увеличения
Название: ebfa69c1-c798-474a-ba4a-043bd5c672f0.jpg
Просмотров: 192
Размер:	196.7 Кб
ID:	10427
Реактивное программирование – это программная парадигма, ориентированная на потоки данных и распространение изменений. Она позволяет выражать статические или динамические потоки данных и автоматически распространять изменения через потоки зависимых вычислений....
Аватар для Javaican
Новые блоги и статьи
Установка MinGW GCC 16.2 и CMake
8Observer8 10.08.2026
VK Видео: https:/ / vkvideo. ru/ video-240781534_456239017 YouTube: eY5-5PyI9NM Текстовая версия
Неделя из жизни имитационной модели склада: мои кривые руки растут, откуда надо
anaschu 10.08.2026
Неделя из жизни имитационной модели склада: как я почти написал неправильную логику и что с этим делать Работаю сейчас над учебно-рабочим проектом: строю в AnyLogic имитационную модель процессов. . .
Калькулятор для расчета родства
russiannick 07.08.2026
1. Задача: Создать калькулятор для расчета родства. Родственных связей существует 8 ступеней, такие как: p - отец P - мать q - муж Q - жена b - брат B - сестра s - сын S - дочь
Мир по моей воле
kumehtar 07.08.2026
Когда-то кажется, что всё просто. Ты весь такой светлый. Причиняешь добро. Борешься за справедливость в этом тёмном мире. Потом начинаешь замечать одну неприятную вещь. Почти каждый хороший. . .
Кредитный калькулятор
Maks 05.08.2026
Решение задачи по прикладной информатике средствами 1С. Задача: Напишите приложение-калькулятор, которое помогает рассчитывать параметры кредита для аннуитетного и дифференцированного видов. . .
У нас сейчас поговорку "Опять 25" нужно переделать на "Опять +35".
kumehtar 04.08.2026
С ностальгией вспоминаю времена моего детства, когда у нас и правда +25 - была максимальная температура летом. Раньше +25 °C реально казались вершиной жары, когда можно было весь день пропадать на. . .
Как ИИ начал спорить и врать (возможно почуяв опасность для себя от индустрии - уход от электроники).
Hrethgir 04.08.2026
Недельный диалог, на фоне событий с НПЗ. Да, из спирта можно получать бензин, и это не сложно. Но потом в схеме я решил избавиться от насоса, при этом полностью сделав контроль подачи спирта в. . .
Термопринтер QR701
Argus19 03.08.2026
Термопринтер QR701 Купил два термопринтера QR701. На сэлф-тесте написано: Language: PC936 (GB18030). Что означает, что принтеры могут печатать только латиницу и китайские иероглифы. Так же. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru