Форум программистов, компьютерный форум, киберфорум
Apache
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
Старый
Партиционирование Kafka и доставка сообщений из нескольких партиций
Запись от JVM_Whisperess размещена 18.10.2025 в 20:15
Показов 5962 Комментарии 0

Нажмите на изображение для увеличения
Название: Партиционирование Kafka.jpg
Просмотров: 464
Размер:	71.3 Кб
ID:	11314
Когда впервые сталкиваешься с Kafka, партиции кажутся простой технической деталью - ну разбили топик на части, и что? Типичная ошибка джуна, которую я сам совершал лет семь назад. Тогда на проекте в финтехе мы обрабатывали платежные транзакции, и я наивно полагал, что...
Аватар для JVM_Whisperess
Старый
Полиглотные Event-Driven системы с Kafka, RabbitMQ и gRPC на Java, Go и Node.js
Запись от ArchitectMsa размещена 13.10.2025 в 20:34 / Microservice it all!
Показов 4636 Комментарии 0

Нажмите на изображение для увеличения
Название: Полиглотные Event-Driven системы с Kafka, RabbitMQ и gRPC на Java, Go и Node.js.jpg
Просмотров: 572
Размер:	60.4 Кб
ID:	11281
В 2019 году я столкнулся с любопытной ситуацией. Команда запускала новый сервис рекомендаций на Python - модели машинного обучения требовали NumPy и TensorFlow. Основное приложение работало на Java, а фронтенд крутился на Node.js. И вот появилась задача: связать все это в единую систему, где заказы создаются через веб, обрабатываются на бэкенде, а рекомендации генерируются...
Аватар для ArchitectMsa
Старый
Event-Driven архитектура с Kafka: Outbox Pattern, Exactly-Once и идемпотентные консьюмеры
Запись от ArchitectMsa размещена 09.10.2025 в 21:41 / Microservice it all!
Показов 5748 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектура с Kafka.jpg
Просмотров: 621
Размер:	161.8 Кб
ID:	11274
Представь: твой сервис успешно записал заказ в базу, отправил событие в Kafka, а через секунду всё упало. Заказ есть, событие... может быть есть, а может нет. Или их теперь три копии, потому что продюсер героически ретраился. Склад списал товар дважды, бухгалтерия насчитала...
Аватар для ArchitectMsa
Старый
NGINX vs Apache - что выбрать?
Запись от Jason-Webb размещена 30.09.2025 в 21:13 / Webmastering PHP
Показов 2945 Комментарии 0

Нажмите на изображение для увеличения
Название: NGINX vs Apache.jpg
Просмотров: 309
Размер:	112.0 Кб
ID:	11242
Когда я впервые столкнулся с выбором между NGINX и Apache, у меня был только один критерий — "что быстрее?". Наивный подход, который привел к череде болезненных миграций и ночных релизов. Сегодня я точно знаю: понимание архитектурных различий между этими веб-серверами — ключевой фактор,...
Аватар для Jason-Webb
Старый
Kafka и SQS: сравнение инструментов потоковой передачи
Запись от IndentationError размещена 30.08.2025 в 16:17 / AI coming for you
Показов 5276 Комментарии 0

Нажмите на изображение для увеличения
Название: Kafka и SQS сравнение инструментов потоковой передачи.jpg
Просмотров: 364
Размер:	187.2 Кб
ID:	11089
Сегодня я хочу поговорить о двух титанах в мире потоковой передачи данных: Apache Kafka и Amazon SQS. Или, как я их называю - "тяжелая артилерия" и "снайперская винтовка" в арсенале современного архитектора. Каждый инструмент имеет свои особенности, силу, слабости,...
Аватар для IndentationError
Старый
Event-Driven архитектуры в C# - выбираем правильного брокера сообщений
Запись от ArchitectMsa размещена 10.08.2025 в 19:39 / Microservice it all!
Показов 5268 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектуры в C# - выбираем правильного посредника сообщений.jpg
Просмотров: 401
Размер:	163.7 Кб
ID:	11045
Недавно я консультировал проект интернет-магазина, где для оформления заказа требовалось последовательно вызывать сервисы: корзины, проверки доступности товаров, расчета доставки, создания заказа, списания средств. Типичная картина! Но что происходило, когда...
Аватар для ArchitectMsa
Старый
Рейтинг: 5.00. Голосов: 1.
Data Science и C#. Кейсы
Запись от stackOverflow размещена 06.08.2025 в 11:27
Показов 5114 Комментарии 0

Нажмите на изображение для увеличения
Название: Data Science и C# 2.jpg
Просмотров: 577
Размер:	246.8 Кб
ID:	11039
[Начало] Теория теорией, но как говорил мой первый тимлид: "Работает - значит работает". Давайте разберем реальные проекты, где C# показал себя в деле анализа данных и машинного обучения. Я выбрал несколько показательных кейсов из своей практики последних лет.

Анализ производительности на больших датасетах



Один из самых показательных проектов был связан с анализом логов телекоммуникационного...
Аватар для stackOverflow
Старый
Рейтинг: 5.00. Голосов: 1.
Data Science и C#
Запись от stackOverflow размещена 05.08.2025 в 21:27
Показов 4463 Комментарии 0

Нажмите на изображение для увеличения
Название: Data Science и C#.jpg
Просмотров: 427
Размер:	217.9 Кб
ID:	11038
Когда-то при упоминании языков для анализа данных все автоматически думали только о Python, R и, может быть, немного о Scala. C# воспринимался исключительно как инструмент для энтерпрайз-разработки, создания десктопных приложений под Windows и, в лучшем случае, бэкенда для веб-сервисов. Прошло несколько лет, и ситуация кардинально...
Аватар для stackOverflow
Старый
Spring Kafka - синхронные и асинхронные запросы
Запись от Javaican размещена 01.08.2025 в 20:30 / Making Java great for ever
Показов 6957 Комментарии 0

Нажмите на изображение для увеличения
Название: Spring Kafka - синхронные и асинхронные запросы.jpg
Просмотров: 427
Размер:	183.8 Кб
ID:	11026
Когда я впервые столкнулся с Apache Kafka, меня поразила его архитектура, заточеная под асинхронное взаимодействие. Этот брокер сообщений, созданный изначально в недрах LinkedIn, а сейчас развиваемый Apache Foundation, проектировался как высокопроизводительная шина для потоковой обработки данных, где сообщения публикуются, хранятся в упорядоченых логах и затем потребляются одним или несколькими получателями.

Введение в Request-Reply паттерн в Kafka


...
Аватар для Javaican
Старый
Обработка Big Data на C#
Запись от stackOverflow размещена 29.05.2025 в 21:36
Показов 2426 Комментарии 0

Нажмите на изображение для увеличения
Название: c810d91b-b101-42b4-bba4-25ef70aba248.jpg
Просмотров: 329
Размер:	75.0 Кб
ID:	10855
C# традиционно оставался в тени Java, Python и Scala, когда речь заходила о работе с большими данными. Многие считали, что .NET недостаточно зрелая для таких задач. Но времена изменились. Язык C# превратился в настоящего тяжеловеса для обработки масштабных массивов информации, а с выходом C# 14 и .NET 9 появился целый арсенал инструментов, заточенных специально...
Аватар для stackOverflow
Старый
Рейтинг: 5.00. Голосов: 1.
Event-Driven приложения с Apache Kafka и KafkaFlow в .NET
Запись от stackOverflow размещена 26.05.2025 в 20:50
Показов 3733 Комментарии 0

Нажмите на изображение для увеличения
Название: d74997f4-fb96-476a-b5e2-51fedbecd61c.jpg
Просмотров: 430
Размер:	209.7 Кб
ID:	10850
Для .NET разработчиков работа с Kafka традиционно сопряжена с определенными трудностями. Официальный клиент Confluent хорош, но часто требует написания большого количества шаблонного кода. Многие разработчики тратят дни, разбираясь с настройками сериализации — это настоящее...
Аватар для stackOverflow
Старый
Kubernetes с Apache Flink для обработки данных в реальном времени
Запись от Mr. Docker размещена 17.05.2025 в 10:19 / Docking everything, K8s anything
Показов 6506 Комментарии 0

Нажмите на изображение для увеличения
Название: 85d0647b-9d21-41f4-a9b2-1e03b4f3ec01.jpg
Просмотров: 318
Размер:	200.0 Кб
ID:	10818
Kubernetes — это целая философия управления распределёнными приложениями. В отличие от "примитивных" решений вроде Docker Swarm, K8s (как его ласково называют в тусовке DevOps-инженеров) предлагает гораздо более зрелый и продвинутый подход. Основная архитектура Kubernetes включает в себя мастер-ноды, которые координируют работу кластера, и рабочие...
Аватар для Mr. Docker
Старый
Конвейеры ETL с Apache Airflow и Python
Запись от IndentationError размещена 13.05.2025 в 10:02 / AI coming for you
Показов 4892 Комментарии 0

Нажмите на изображение для увеличения
Название: 5edb7e39-15da-48ed-9f2a-ebda2d5087ed.jpg
Просмотров: 195
Размер:	195.1 Кб
ID:	10799
ETL-конвейеры – это набор процессов, отвечающих за извлечение данных из различных источников (Extract), их преобразование в нужный формат (Transform) и загрузку в целевое хранилище (Load). Современные компании оперируют сотнями терабайт информации, которые поступают из десятков разнородных систем: от древних корпоративных монстров на COBOL до навороченных REST API с непредсказуемым поведением. Создание надёжных потоков данных...
Аватар для IndentationError
Старый
Apache Camel и Apache Kafka - в чем разница?
Запись от ArchitectMsa размещена 09.05.2025 в 12:06 / Microservice it all!
Показов 2772 Комментарии 0
Метки apache, architecture, camel, kafka

Нажмите на изображение для увеличения
Название: 8e70ee5b-88a7-400f-b3cb-7dbe8a61fc0d.jpg
Просмотров: 234
Размер:	57.3 Кб
ID:	10774
Apache Camel и Apache Kafka — не конкуренты, а скорее инструменты из разных категорий одного большого набора. Если Camel — это швейцарский нож интеграции, предлагающий решение для соединения почти любых систем, то Kafka — высокопроизводительный конвейер для передачи огромных...
Аватар для ArchitectMsa
Старый
Confluent Kafka Go и потоковые приложения в реальном времени на Golang
Запись от golander размещена 03.05.2025 в 20:17 / go go just go
Показов 3286 Комментарии 0

Нажмите на изображение для увеличения
Название: 0e23c15e-8b21-486c-a2b9-a2fdca2f6ca4.jpg
Просмотров: 261
Размер:	168.8 Кб
ID:	10728
Мир обработки данных перевернулся, когда в 2011 году LinkedIn открыл исходный код Kafka – распределённой системы передачи сообщений, разработанной для внутренних нужд компании. Изначально Кафка создавалась как решение для сбора и анализа пользовательской активности...
Аватар для golander
Старый
Apache Kafka vs RabbitMQ в микросервисной архитектуре
Запись от ArchitectMsa размещена 25.04.2025 в 13:13 / Microservice it all!
Показов 4644 Комментарии 0

Нажмите на изображение для увеличения
Название: fe1d2e6a-463c-46f7-ad38-799fee616b73.jpg
Просмотров: 230
Размер:	235.6 Кб
ID:	10652
Современная разработка ПО всё чаще склоняется к микросервисной архитектуре — подходу, при котором приложение разбивается на множество небольших, автономных сервисов. В этой распределённой среде критически важна эффективная коммуникация между компонентами,...
Аватар для ArchitectMsa
Старый
Погружение в Kafka: Концепции и примеры на C# с ASP.NET Core
Запись от stackOverflow размещена 18.04.2025 в 11:03
Показов 11990 Комментарии 0

Нажмите на изображение для увеличения
Название: 8346d751-d0a5-475c-94a6-39bdac22b4d7.jpg
Просмотров: 312
Размер:	164.3 Кб
ID:	10607
Apache Kafka изменила подход к обработке данных в распределенных системах. Эта платформа потоковой передачи данных выходит далеко за рамки обычной шины сообщений, предлагая мощные возможности, которые трансформировали архитектуру многих современных приложений.

Что такое Kafka и зачем она нужна



Apache Kafka – распределенная платформа потоковой передачи данных, которая по сути представляет...
Аватар для stackOverflow
Старый
Управление топиками и разделами Kafka
Запись от Javaican размещена 11.04.2025 в 21:54 / Making Java great for ever
Показов 7148 Комментарии 0
Метки apache, java, kafka

Нажмите на изображение для увеличения
Название: d95d2181-24e0-43a6-81b9-35fd07f266e1.jpg
Просмотров: 233
Размер:	224.0 Кб
ID:	10579
Apache Kafka — распределенная платформа потоковой передачи данных, которая стала стандартом для построения высоконагруженных систем обмена сообщениями. В современной архитектуре микросервисов, IoT-решений и аналитики реального времени Kafka выступает ключевым звеном,...
Аватар для Javaican
Старый
Подключение Kafka к Elasticsearch
Запись от Codd размещена 09.04.2025 в 19:10 / Data... Everywhere
Показов 5235 Комментарии 0

Нажмите на изображение для увеличения
Название: 97b61b4f-21d4-47f6-8d61-0107e5b9536f.jpg
Просмотров: 238
Размер:	236.5 Кб
ID:	10566
Apache Kafka и Elasticsearch — две мощные технологии, которые при совместном использовании создают эффективную платформу для обработки и анализа данных в реальном времени. Kafka, выступая в роли распределенной системы потоковой передачи сообщений, позволяет надежно передавать...
Аватар для Codd
Старый
Реализация Event-Driven архитектуры с RabbitMQ и Kafka в Nest.js
Запись от ArchitectMsa размещена 09.04.2025 в 16:09 / Microservice it all!
Показов 3234 Комментарии 0

Нажмите на изображение для увеличения
Название: 4663bd1c-2017-4e0e-abc4-2975752e4c22.jpg
Просмотров: 211
Размер:	161.9 Кб
ID:	10560
В монолитных системах сервисы обычно общаются напрямую через HTTP-запросы. Простой подход, удобный для начала разработки — но что происходит, когда система растёт? Синхронное взаимодействие быстро превращается в узкое место, тормозящее масштабирование.

...
Аватар для ArchitectMsa
Старый
Обмен данными в микросервисной архитектуре
Запись от ArchitectMsa размещена 06.04.2025 в 22:00 / Microservice it all!
Показов 6555 Комментарии 0

Нажмите на изображение для увеличения
Название: 63f23c83-62a4-4109-a339-6a1a6cae127d.jpg
Просмотров: 283
Размер:	202.0 Кб
ID:	10546
Когда разработчики начинают погружаться в мир микросервисов, они часто сталкиваются с парадоксальным правилом: "два сервиса не должны делить один источник данных". Эта мантра звучит повсюду в профессиональных кругах, и многие воспринимают её слишком буквально....
Аватар для ArchitectMsa
Старый
Позиционировани­е Kafka Consumer и Seek-операции
Запись от Javaican размещена 17.03.2025 в 12:08 / Making Java great for ever
Показов 4201 Комментарии 0
Метки apache, java, kafka, microservices

Нажмите на изображение для увеличения
Название: 3629b240-eadf-49c1-a6a3-fa5e7496d0fb.jpg
Просмотров: 188
Размер:	222.3 Кб
ID:	10436
Что же такое Consumer Seek в Kafka? По сути, это API-метод, который позволяет программно указать, с какой позиции (offset) Consumer должен начать или продолжить чтение данных из партиции. Без этого механизма потребители Kafka обычно просто последовательно обрабатывают сообщения, начиная...
Аватар для Javaican
Старый
Apache Airflow для оркестрации и автоматизации рабочих процессов
Запись от Mr. Docker размещена 16.03.2025 в 20:42 / Docking everything, K8s anything
Показов 2750 Комментарии 0

Нажмите на изображение для увеличения
Название: 329ad6b5-3a16-454f-b1cf-d03d07b73234.jpg
Просмотров: 195
Размер:	204.6 Кб
ID:	10432
Управление сложными рабочими процессами — одна из главных головных болей инженеров данных и DevOps-специалистов. Представьте себе: каждый день нужно запускать десятки скриптов в определенной последовательности, обрабатывать гигабайты данных из разных источников, и при этом следить, чтобы все работало как часы....
Аватар для Mr. Docker
Старый
Реактивное программировани­е с Kafka Stream и Spring WebFlux
Запись от Javaican размещена 16.03.2025 в 18:36 / Making Java great for ever
Показов 2082 Комментарии 0

Нажмите на изображение для увеличения
Название: ebfa69c1-c798-474a-ba4a-043bd5c672f0.jpg
Просмотров: 183
Размер:	196.7 Кб
ID:	10427
Реактивное программирование – это программная парадигма, ориентированная на потоки данных и распространение изменений. Она позволяет выражать статические или динамические потоки данных и автоматически распространять изменения через потоки зависимых вычислений....
Аватар для Javaican
Старый
Конвейеры данных с Apache Kafka
Запись от Javaican размещена 16.03.2025 в 11:46 / Making Java great for ever
Показов 3124 Комментарии 0

Нажмите на изображение для увеличения
Название: 5f1661f3-6d5d-4568-9523-20f18445ffeb.png
Просмотров: 169
Размер:	1.32 Мб
ID:	10419
В мире, где данные стали новой нефтью, Apache Kafka зарекомендовал себя как мощный инструмент для построения надежных и масштабируемых конвейеров данных. Созданный изначально командой LinkedIn в 2011 году, этот проект эволюционировал из простой системы обмена сообщениями...
Аватар для Javaican
Старый
Безопасность кластеров Apache Kafka
Запись от Javaican размещена 14.03.2025 в 14:32 / Making Java great for ever
Показов 2594 Комментарии 0
Метки apache, auth, java, kafka, security

Нажмите на изображение для увеличения
Название: 5209a3c1-8f00-4f91-95e9-d42c09240a22.jpg
Просмотров: 184
Размер:	194.9 Кб
ID:	10395
Apache Kafka стал одним из ключевых компонентов современных архитектур, обрабатывающих потоки данных в режиме реального времени. Его используют тысячи компаний от стартапов до технологических гигантов — и это неудивительно, ведь Kafka обеспечивает высокую производительность,...
Аватар для Javaican
Старый
Организация масштабируемого хранилища с Apache Cassandra
Запись от Codd размещена 14.03.2025 в 13:07 / Data... Everywhere
Показов 1696 Комментарии 0
Метки apache, cassandra, db, java, nosql

Нажмите на изображение для увеличения
Название: cab7b174-76de-4e75-8064-baca0522f411.jpg
Просмотров: 205
Размер:	274.4 Кб
ID:	10392
Изначально разработанная в Facebook, а затем переданная Apache Software Foundation, Cassandra сочетает в себе принципы Amazon's Dynamo и Google's BigTable. Эта комбинация создает уникальную архитектуру, способную масштабироваться горизонтально практически без ограничений. Представьте себе систему, которая может обрабатывать петабайты данных, распределенных по сотням узлов, при этом оставаясь устойчивой к сбоям отдельных серверов!

Реляционные БД, такие как MySQL...
Аватар для Codd
Старый
Kafka или Pulsar: Что лучше для потоковой обработки в Java
Запись от Javaican размещена 14.03.2025 в 12:33 / Making Java great for ever
Показов 1414 Комментарии 0
Метки apache, java, kafka, pulsar, steaming

Нажмите на изображение для увеличения
Название: d366db0f-3224-446d-9857-809b95b339c2.jpg
Просмотров: 160
Размер:	125.9 Кб
ID:	10390
Среди множества решений для потоковой обработки данных Apache Kafka долгое время удерживала лидирующие позиции, став де-факто стандартом в индустрии. Однако в последние годы всё больше внимания привлекает Apache Pulsar — относительно новый игрок, предлагающий альтернативный подход к построению распределенных очередей сообщений. Оба инструмента широко используются в Java-проектах, предоставляя API для разработки потоковых приложений....
Аватар для Javaican
Старый
Сериализация данных с Apache Avro в Kafka
Запись от Javaican размещена 12.03.2025 в 20:26 / Making Java great for ever
Показов 5006 Комментарии 0

Нажмите на изображение для увеличения
Название: fb37348e-52c1-4ff2-a497-ea0cc9ba4296.jpg
Просмотров: 253
Размер:	126.1 Кб
ID:	10379
Apache Kafka стала одним из ключевых решений для работы с большими потоками данных. Однако с ростом объемов передаваемых данных возникает проблема: как эффективно сериализовать и десериализовать информацию, чтобы минимизировать использование ресурсов и сохранить...
Аватар для Javaican
Старый
Создание потребителей Kafka с помощью Reactor Kafka
Запись от Javaican размещена 12.03.2025 в 20:11 / Making Java great for ever
Показов 3202 Комментарии 0

Нажмите на изображение для увеличения
Название: aa49bcda-0801-417e-9105-0f4b9282cdee.jpg
Просмотров: 204
Размер:	132.7 Кб
ID:	10378
Reactor Kafka — это библиотека, объединяющая Apache Kafka с реактивным программированием на базе Project Reactor. Такое сочетание позволяет строить неблокирующие, асинхронные приложения с контролем обратного давления (backpressure). Для тех, кто не погружался в реактивное программирование,...
Аватар для Javaican
Новые блоги и статьи
Транскрипция 55-минутного видео через Whisper: WhisperDesktop облажался, спас Google Colab[
anaschu 01.06.2026
Понадобилось получить текст из свежезагруженного видео на YouTube. Казалось бы, задача на пять минут. Заняла полтора часа. Делюсь опытом — может кому пригодится последовательность решений. . . .
21 мат мед. Планы на развитие модели здравоСохранения
anaschu 01.06.2026
AnyLogic: план развития симуляционной модели рабочего коллектива — динамический абсентеизм, реальные данные, три сценария сравнения Продолжаю серию постов о дискретно-событийной модели рабочего. . .
20. Мат мед. Абсентеизм как отдельный тип простоя
anaschu 29.05.2026
Апдейт модели: исправленные баги, абсентеизм и новые механизмы Продолжаю развивать ранее описанную модель рабочего коллектива на AnyLogic. За последние несколько дней был проведён серьёзный. . .
19. здоровье, усталость и психотип работника влияют на производительность предприятия, и наоборот, производительность на здоровье, усталось и психотип
anaschu 28.05.2026
Дискретно-событийная модель рабочего коллектива на AnyLogic: здоровье, выгорание, психотипы и микростимуляция Привет, коллеги. Хочу поделиться итогами нескольких недель работы над симуляционной. . .
"Прокси" для последовательного порта
Eddy_Em 28.05.2026
Эту штуку написал я достаточно давно. Но сейчас вот понадобилось настроить датчик грозы, но при этом не отключать его от "метеодемона". Соответственно, надо запустить этот "прокси": метеодемон будет. . .
Рефакторинг программы уравнивания.
Massaraksh7 26.05.2026
Пример по предыдущей записи в блоге. Но, надо заметить, что, во-первых, там оптимизация не только математики, но и работы с базой данных, и с графами, а во-вторых, это ещё не всё.
Использование TThread в Lazarus для математических вычислений.
Massaraksh7 25.05.2026
Производя рефакторинг своих программ на предмет ускорения их работы, обратил внимание на такой аспект, как сокращение времени матвычислений. Дело в том, что приходится работать с большими матрицами. . .
Модель здравосохранения 18. Чем здоровее работник, тем быстрее выгорает
anaschu 24.05.2026
Имитационная модель корпоративного здравоохранения: что показывает математика Сегодня в модели рабочего коллектива на AnyLogic появились три новые механики — выгорание через накопленную усталость,. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru