Форум программистов, компьютерный форум, киберфорум
Kafka
Войти
Регистрация
Восстановить пароль
Старый
Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений (2)
Запись от ArchitectMsa размещена 23.10.2025 в 13:11 / Microservice it all!
Показов 4088 Комментарии 0

Нажмите на изображение для увеличения
Название: Шардинг и горизонтальное масштабирование ботов.jpg
Просмотров: 330
Размер:	179.6 Кб
ID:	11330
Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений (1)

Шардинг и горизонтальное масштабирование ботов



Вертикальное масштабирование упирается в физические границы железа довольно быстро. У меня был момент когда бот обрабатывал 300 тысяч пользователей на сервере с 32 гигами RAM и 16 ядрами....
Аватар для ArchitectMsa
Старый
Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений (1)
Запись от ArchitectMsa размещена 23.10.2025 в 13:05 / Microservice it all!. Обновил(-а) ArchitectMsa 23.10.2025 в 13:11
Показов 4635 Комментарии 0

Нажмите на изображение для увеличения
Название: Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений.jpg
Просмотров: 246
Размер:	209.9 Кб
ID:	11325
Архитектура телеграм-ботов на Python и Феномен 15 миллиардов сообщений (2)

Каждый день через экосистему телеграм-ботов проходит 15 миллиардов сообщений. Не в теории, а прямо сейчас - пока читаешь этот абзац, где-то обрабатывается несколько миллионов запросов. Десять миллионов активных ботов обслуживают миллиард пользователей, и это уже не просто автоответчики с парой команд.

Я помню, как лет пять назад запустил своего первого бота на VPS за 5...
Аватар для ArchitectMsa
Старый
Партиционирование Kafka и доставка сообщений из нескольких партиций
Запись от JVM_Whisperess размещена 18.10.2025 в 20:15
Показов 4556 Комментарии 0

Нажмите на изображение для увеличения
Название: Партиционирование Kafka.jpg
Просмотров: 251
Размер:	71.3 Кб
ID:	11314
Когда впервые сталкиваешься с Kafka, партиции кажутся простой технической деталью - ну разбили топик на части, и что? Типичная ошибка джуна, которую я сам совершал лет семь назад. Тогда на проекте в финтехе мы обрабатывали платежные транзакции, и я наивно полагал, что...
Аватар для JVM_Whisperess
Старый
Полиглотные Event-Driven системы с Kafka, RabbitMQ и gRPC на Java, Go и Node.js
Запись от ArchitectMsa размещена 13.10.2025 в 20:34 / Microservice it all!
Показов 3449 Комментарии 0

Нажмите на изображение для увеличения
Название: Полиглотные Event-Driven системы с Kafka, RabbitMQ и gRPC на Java, Go и Node.js.jpg
Просмотров: 321
Размер:	60.4 Кб
ID:	11281
В 2019 году я столкнулся с любопытной ситуацией. Команда запускала новый сервис рекомендаций на Python - модели машинного обучения требовали NumPy и TensorFlow. Основное приложение работало на Java, а фронтенд крутился на Node.js. И вот появилась задача: связать все это в единую систему, где заказы создаются через веб, обрабатываются на бэкенде, а рекомендации генерируются...
Аватар для ArchitectMsa
Старый
Event-Driven архитектура с Kafka: Outbox Pattern, Exactly-Once и идемпотентные консьюмеры
Запись от ArchitectMsa размещена 09.10.2025 в 21:41 / Microservice it all!
Показов 3371 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектура с Kafka.jpg
Просмотров: 341
Размер:	161.8 Кб
ID:	11274
Представь: твой сервис успешно записал заказ в базу, отправил событие в Kafka, а через секунду всё упало. Заказ есть, событие... может быть есть, а может нет. Или их теперь три копии, потому что продюсер героически ретраился. Склад списал товар дважды, бухгалтерия насчитала...
Аватар для ArchitectMsa
Старый
Kafka и SQS: сравнение инструментов потоковой передачи
Запись от IndentationError размещена 30.08.2025 в 16:17 / AI coming for you
Показов 4686 Комментарии 0

Нажмите на изображение для увеличения
Название: Kafka и SQS сравнение инструментов потоковой передачи.jpg
Просмотров: 293
Размер:	187.2 Кб
ID:	11089
Сегодня я хочу поговорить о двух титанах в мире потоковой передачи данных: Apache Kafka и Amazon SQS. Или, как я их называю - "тяжелая артилерия" и "снайперская винтовка" в арсенале современного архитектора. Каждый инструмент имеет свои особенности, силу, слабости,...
Аватар для IndentationError
Старый
Event-Driven архитектуры в C# - сравнение брокеров и выбор решения
Запись от ArchitectMsa размещена 11.08.2025 в 17:51 / Microservice it all!. Обновил(-а) mik-a-el 11.08.2025 в 18:40
Показов 3639 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектуры в C# - практическое сравнение и выбор решения.jpg
Просмотров: 326
Размер:	155.7 Кб
ID:	11046
Начало: Event-Driven архитектуры в C# - выбираем правильного брокера сообщений

Azure Service Bus - облачное решение от Microsoft



Когда все твои сервисы крутятся в облаке Microsoft, ставить на продакшн самостоятельно настроенную Kafka или RabbitMQ часто становится излишней головной болью. Именно поэтому последние...
Аватар для ArchitectMsa
Старый
Event-Driven архитектуры в C# - выбираем правильного брокера сообщений
Запись от ArchitectMsa размещена 10.08.2025 в 19:39 / Microservice it all!
Показов 4251 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектуры в C# - выбираем правильного посредника сообщений.jpg
Просмотров: 302
Размер:	163.7 Кб
ID:	11045
Недавно я консультировал проект интернет-магазина, где для оформления заказа требовалось последовательно вызывать сервисы: корзины, проверки доступности товаров, расчета доставки, создания заказа, списания средств. Типичная картина! Но что происходило, когда...
Аватар для ArchitectMsa
Старый
Рейтинг: 5.00. Голосов: 1.
Data Science и C#. Кейсы
Запись от stackOverflow размещена 06.08.2025 в 11:27
Показов 4371 Комментарии 0

Нажмите на изображение для увеличения
Название: Data Science и C# 2.jpg
Просмотров: 458
Размер:	246.8 Кб
ID:	11039
[Начало] Теория теорией, но как говорил мой первый тимлид: "Работает - значит работает". Давайте разберем реальные проекты, где C# показал себя в деле анализа данных и машинного обучения. Я выбрал несколько показательных кейсов из своей практики последних лет.

Анализ производительности на больших датасетах



Один из самых показательных проектов был связан с анализом логов телекоммуникационного...
Аватар для stackOverflow
Старый
Spring Kafka - синхронные и асинхронные запросы
Запись от Javaican размещена 01.08.2025 в 20:30 / Making Java great for ever
Показов 5327 Комментарии 0

Нажмите на изображение для увеличения
Название: Spring Kafka - синхронные и асинхронные запросы.jpg
Просмотров: 334
Размер:	183.8 Кб
ID:	11026
Когда я впервые столкнулся с Apache Kafka, меня поразила его архитектура, заточеная под асинхронное взаимодействие. Этот брокер сообщений, созданный изначально в недрах LinkedIn, а сейчас развиваемый Apache Foundation, проектировался как высокопроизводительная шина для потоковой обработки данных, где сообщения публикуются, хранятся в упорядоченых логах и затем потребляются одним или несколькими получателями.

Введение в Request-Reply паттерн в Kafka


...
Аватар для Javaican
Старый
Real-time коммуникация клиент-сервер с SignalR и C#
Запись от stackOverflow размещена 20.07.2025 в 12:33
Показов 3076 Комментарии 0

Нажмите на изображение для увеличения
Название: Real-time коммуникация клиент-сервер с SignalR и C#.jpg
Просмотров: 310
Размер:	208.8 Кб
ID:	11003
Вы когда-нибудь задумывались, почему большинство современных веб-приложений работают так медленно? Классическая модель запрос-ответ, на которой построен весь интернет, давно трещит по швам. Я годами наблюдал, как разработчики пытались выжать максимум из этой устаревшей...
Аватар для stackOverflow
Старый
Облачные приложения на Rust: руководство по архитектуре микросервисов
Запись от golander размещена 13.07.2025 в 20:47 / go go just go
Показов 12567 Комментарии 3

Нажмите на изображение для увеличения
Название: Облачные приложения на Rust руководство по архитектуре микросервисов.jpg
Просмотров: 295
Размер:	234.8 Кб
ID:	10979
Когда я впервые взялся за проектирование облачной платформы для одного из наших клиентов, выбор стоял между привычными Go и Java. Но после нескольких месяцев разработки микросервисной системы, которая трещала по швам под нагрузкой, пришлось искать альтернативы. И тут на сцену вышел Rust - язык, который я раньше пробовал только для системного программирования.

Что делает Rust таким привлекательным...
Аватар для golander
Старый
Полиглотные микросервисы на C# и .NET
Запись от ArchitectMsa размещена 30.06.2025 в 21:32 / Microservice it all!
Показов 4257 Комментарии 0

Нажмите на изображение для увеличения
Название: Полиглотные микросервисы на C# и .NET.jpg
Просмотров: 299
Размер:	84.9 Кб
ID:	10944
Полиглотная архитектура появилась не из желания усложнить жизнь разработчикам. Она родилась из практической необходимости решать разные задачи наиболее эффективным способом.

В одном из проектов мы столкнулись с классической дилеммой: наш основной API на C# отлично справлялся с CRUD операциями и бизнес-логикой, но когда понадобилось добавить анализ тональности текста и...
Аватар для ArchitectMsa
Старый
Обработка Big Data на C#
Запись от stackOverflow размещена 29.05.2025 в 21:36
Показов 2036 Комментарии 0

Нажмите на изображение для увеличения
Название: c810d91b-b101-42b4-bba4-25ef70aba248.jpg
Просмотров: 254
Размер:	75.0 Кб
ID:	10855
C# традиционно оставался в тени Java, Python и Scala, когда речь заходила о работе с большими данными. Многие считали, что .NET недостаточно зрелая для таких задач. Но времена изменились. Язык C# превратился в настоящего тяжеловеса для обработки масштабных массивов информации, а с выходом C# 14 и .NET 9 появился целый арсенал инструментов, заточенных специально...
Аватар для stackOverflow
Старый
CAP-теорема или почему идеальной распределенной системы не существует
Запись от ArchitectMsa размещена 28.05.2025 в 16:01 / Microservice it all!
Показов 2595 Комментарии 0

Нажмите на изображение для увеличения
Название: 97e95119-0c60-4680-ba0a-152d1b634505.jpg
Просмотров: 263
Размер:	151.9 Кб
ID:	10852
Вы переводите деньги со своего счета на счет друга. Казалось бы, что может быть проще? Вы открываете приложение банка, вводите сумму, жмете кнопку - и деньги мгновенно переходят с одного счета на другой. Но что происходит, если в момент транзакции связь между серверами...
Аватар для ArchitectMsa
Старый
Рейтинг: 5.00. Голосов: 1.
Event-Driven приложения с Apache Kafka и KafkaFlow в .NET
Запись от stackOverflow размещена 26.05.2025 в 20:50
Показов 3472 Комментарии 0

Нажмите на изображение для увеличения
Название: d74997f4-fb96-476a-b5e2-51fedbecd61c.jpg
Просмотров: 366
Размер:	209.7 Кб
ID:	10850
Для .NET разработчиков работа с Kafka традиционно сопряжена с определенными трудностями. Официальный клиент Confluent хорош, но часто требует написания большого количества шаблонного кода. Многие разработчики тратят дни, разбираясь с настройками сериализации — это настоящее...
Аватар для stackOverflow
Старый
Kubernetes с Apache Flink для обработки данных в реальном времени
Запись от Mr. Docker размещена 17.05.2025 в 10:19 / Docking everything, K8s anything
Показов 6254 Комментарии 0

Нажмите на изображение для увеличения
Название: 85d0647b-9d21-41f4-a9b2-1e03b4f3ec01.jpg
Просмотров: 246
Размер:	200.0 Кб
ID:	10818
Kubernetes — это целая философия управления распределёнными приложениями. В отличие от "примитивных" решений вроде Docker Swarm, K8s (как его ласково называют в тусовке DevOps-инженеров) предлагает гораздо более зрелый и продвинутый подход. Основная архитектура Kubernetes включает в себя мастер-ноды, которые координируют работу кластера, и рабочие...
Аватар для Mr. Docker
Старый
Использование вебсокетов в приложениях Java с Netty
Запись от Javaican размещена 16.05.2025 в 18:32 / Making Java great for ever
Показов 6535 Комментарии 0

Нажмите на изображение для увеличения
Название: d49f00f7-419f-4be2-b6c7-22ad988bf82c.jpg
Просмотров: 182
Размер:	175.2 Кб
ID:	10813
HTTP, краеугольный камень интернета, изначально был спроектирован для передачи гипертекста с минимальной интерактивностью. Его главный недостаток в контексте современных приложений — это однонаправленость коммуникации: сервер не может инициировать отправку...
Аватар для Javaican
Старый
Apache Camel и Apache Kafka - в чем разница?
Запись от ArchitectMsa размещена 09.05.2025 в 12:06 / Microservice it all!
Показов 1980 Комментарии 0
Метки apache, architecture, camel, kafka

Нажмите на изображение для увеличения
Название: 8e70ee5b-88a7-400f-b3cb-7dbe8a61fc0d.jpg
Просмотров: 162
Размер:	57.3 Кб
ID:	10774
Apache Camel и Apache Kafka — не конкуренты, а скорее инструменты из разных категорий одного большого набора. Если Camel — это швейцарский нож интеграции, предлагающий решение для соединения почти любых систем, то Kafka — высокопроизводительный конвейер для передачи огромных...
Аватар для ArchitectMsa
Старый
Confluent Kafka Go и потоковые приложения в реальном времени на Golang
Запись от golander размещена 03.05.2025 в 20:17 / go go just go
Показов 2591 Комментарии 0

Нажмите на изображение для увеличения
Название: 0e23c15e-8b21-486c-a2b9-a2fdca2f6ca4.jpg
Просмотров: 207
Размер:	168.8 Кб
ID:	10728
Мир обработки данных перевернулся, когда в 2011 году LinkedIn открыл исходный код Kafka – распределённой системы передачи сообщений, разработанной для внутренних нужд компании. Изначально Кафка создавалась как решение для сбора и анализа пользовательской активности...
Аватар для golander
Старый
Apache Kafka vs RabbitMQ в микросервисной архитектуре
Запись от ArchitectMsa размещена 25.04.2025 в 13:13 / Microservice it all!
Показов 3891 Комментарии 0

Нажмите на изображение для увеличения
Название: fe1d2e6a-463c-46f7-ad38-799fee616b73.jpg
Просмотров: 129
Размер:	235.6 Кб
ID:	10652
Современная разработка ПО всё чаще склоняется к микросервисной архитектуре — подходу, при котором приложение разбивается на множество небольших, автономных сервисов. В этой распределённой среде критически важна эффективная коммуникация между компонентами,...
Аватар для ArchitectMsa
Старый
Шаблоны и протоколы для создания устойчивых микросервисов
Запись от ArchitectMsa размещена 19.04.2025 в 10:06 / Microservice it all!
Показов 3864 Комментарии 0

Нажмите на изображение для увеличения
Название: 24fb8dca-eead-449d-9708-a3005e2dc6b4.jpg
Просмотров: 213
Размер:	139.4 Кб
ID:	10615
Микросервисы — архитектурный подход, разбивающий сложные приложения на небольшие, независимые компоненты. Вместо монолитного гиганта, система превращается в созвездие небольших взаимодействующих сервисов. По своей сути, это как качественно организованный оркестр,...
Аватар для ArchitectMsa
Старый
Погружение в Kafka: Концепции и примеры на C# с ASP.NET Core
Запись от stackOverflow размещена 18.04.2025 в 11:03
Показов 8704 Комментарии 0

Нажмите на изображение для увеличения
Название: 8346d751-d0a5-475c-94a6-39bdac22b4d7.jpg
Просмотров: 231
Размер:	164.3 Кб
ID:	10607
Apache Kafka изменила подход к обработке данных в распределенных системах. Эта платформа потоковой передачи данных выходит далеко за рамки обычной шины сообщений, предлагая мощные возможности, которые трансформировали архитектуру многих современных приложений.

Что такое Kafka и зачем она нужна



Apache Kafka – распределенная платформа потоковой передачи данных, которая по сути представляет...
Аватар для stackOverflow
Старый
Управление топиками и разделами Kafka
Запись от Javaican размещена 11.04.2025 в 21:54 / Making Java great for ever
Показов 6453 Комментарии 0
Метки apache, java, kafka

Нажмите на изображение для увеличения
Название: d95d2181-24e0-43a6-81b9-35fd07f266e1.jpg
Просмотров: 163
Размер:	224.0 Кб
ID:	10579
Apache Kafka — распределенная платформа потоковой передачи данных, которая стала стандартом для построения высоконагруженных систем обмена сообщениями. В современной архитектуре микросервисов, IoT-решений и аналитики реального времени Kafka выступает ключевым звеном,...
Аватар для Javaican
Старый
Подключение Kafka к Elasticsearch
Запись от Codd размещена 09.04.2025 в 19:10 / Data... Everywhere
Показов 4755 Комментарии 0

Нажмите на изображение для увеличения
Название: 97b61b4f-21d4-47f6-8d61-0107e5b9536f.jpg
Просмотров: 175
Размер:	236.5 Кб
ID:	10566
Apache Kafka и Elasticsearch — две мощные технологии, которые при совместном использовании создают эффективную платформу для обработки и анализа данных в реальном времени. Kafka, выступая в роли распределенной системы потоковой передачи сообщений, позволяет надежно передавать...
Аватар для Codd
Старый
Реализация Event-Driven архитектуры с RabbitMQ и Kafka в Nest.js
Запись от ArchitectMsa размещена 09.04.2025 в 16:09 / Microservice it all!
Показов 2654 Комментарии 0

Нажмите на изображение для увеличения
Название: 4663bd1c-2017-4e0e-abc4-2975752e4c22.jpg
Просмотров: 138
Размер:	161.9 Кб
ID:	10560
В монолитных системах сервисы обычно общаются напрямую через HTTP-запросы. Простой подход, удобный для начала разработки — но что происходит, когда система растёт? Синхронное взаимодействие быстро превращается в узкое место, тормозящее масштабирование.

...
Аватар для ArchitectMsa
Старый
Обмен данными в микросервисной архитектуре
Запись от ArchitectMsa размещена 06.04.2025 в 22:00 / Microservice it all!
Показов 5593 Комментарии 0

Нажмите на изображение для увеличения
Название: 63f23c83-62a4-4109-a339-6a1a6cae127d.jpg
Просмотров: 212
Размер:	202.0 Кб
ID:	10546
Когда разработчики начинают погружаться в мир микросервисов, они часто сталкиваются с парадоксальным правилом: "два сервиса не должны делить один источник данных". Эта мантра звучит повсюду в профессиональных кругах, и многие воспринимают её слишком буквально....
Аватар для ArchitectMsa
Старый
Разбиваем монолит на два микросервиса и реализуем CI/CD
Запись от ArchitectMsa размещена 20.03.2025 в 09:44 / Microservice it all!
Показов 3103 Комментарии 0

Нажмите на изображение для увеличения
Название: 4caa3757-393a-43c3-98c1-9a15abaaf3ea.jpg
Просмотров: 190
Размер:	212.5 Кб
ID:	10472
Когда команда растет, а функциональность монолита расширяется, поддерживать и развивать такую систему становится все труднее. Разработчики начинают тратить много времени на разбор сложных зависимостей, а внесение изменений в одну часть приложения может неожиданно...
Аватар для ArchitectMsa
Старый
Позиционировани­е Kafka Consumer и Seek-операции
Запись от Javaican размещена 17.03.2025 в 12:08 / Making Java great for ever
Показов 3687 Комментарии 0
Метки apache, java, kafka, microservices

Нажмите на изображение для увеличения
Название: 3629b240-eadf-49c1-a6a3-fa5e7496d0fb.jpg
Просмотров: 138
Размер:	222.3 Кб
ID:	10436
Что же такое Consumer Seek в Kafka? По сути, это API-метод, который позволяет программно указать, с какой позиции (offset) Consumer должен начать или продолжить чтение данных из партиции. Без этого механизма потребители Kafka обычно просто последовательно обрабатывают сообщения, начиная...
Аватар для Javaican
Старый
Реактивное программировани­е с Kafka Stream и Spring WebFlux
Запись от Javaican размещена 16.03.2025 в 18:36 / Making Java great for ever
Показов 1957 Комментарии 0

Нажмите на изображение для увеличения
Название: ebfa69c1-c798-474a-ba4a-043bd5c672f0.jpg
Просмотров: 123
Размер:	196.7 Кб
ID:	10427
Реактивное программирование – это программная парадигма, ориентированная на потоки данных и распространение изменений. Она позволяет выражать статические или динамические потоки данных и автоматически распространять изменения через потоки зависимых вычислений....
Аватар для Javaican
Новые блоги и статьи
моя боль
iceja 24.01.2026
Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .
Модель сукцессии микоризы
anaschu 24.01.2026
Решили писать научную статью с неким РОманом
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru