Форум программистов, компьютерный форум, киберфорум
Apache
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
Старый
Партиционирование Kafka и доставка сообщений из нескольких партиций
Запись от JVM_Whisperess размещена 18.10.2025 в 20:15
Показов 6694 Комментарии 0

Нажмите на изображение для увеличения
Название: Партиционирование Kafka.jpg
Просмотров: 671
Размер:	71.3 Кб
ID:	11314
Когда впервые сталкиваешься с Kafka, партиции кажутся простой технической деталью - ну разбили топик на части, и что? Типичная ошибка джуна, которую я сам совершал лет семь назад. Тогда на проекте в финтехе мы обрабатывали платежные транзакции, и я наивно полагал, что...
Аватар для JVM_Whisperess
Старый
Полиглотные Event-Driven системы с Kafka, RabbitMQ и gRPC на Java, Go и Node.js
Запись от ArchitectMsa размещена 13.10.2025 в 20:34 / Microservice it all!
Показов 5295 Комментарии 0

Нажмите на изображение для увеличения
Название: Полиглотные Event-Driven системы с Kafka, RabbitMQ и gRPC на Java, Go и Node.js.jpg
Просмотров: 745
Размер:	60.4 Кб
ID:	11281
В 2019 году я столкнулся с любопытной ситуацией. Команда запускала новый сервис рекомендаций на Python - модели машинного обучения требовали NumPy и TensorFlow. Основное приложение работало на Java, а фронтенд крутился на Node.js. И вот появилась задача: связать все это в единую систему, где заказы создаются через веб, обрабатываются на бэкенде, а рекомендации генерируются...
Аватар для ArchitectMsa
Старый
Event-Driven архитектура с Kafka: Outbox Pattern, Exactly-Once и идемпотентные консьюмеры
Запись от ArchitectMsa размещена 09.10.2025 в 21:41 / Microservice it all!
Показов 7194 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектура с Kafka.jpg
Просмотров: 835
Размер:	161.8 Кб
ID:	11274
Представь: твой сервис успешно записал заказ в базу, отправил событие в Kafka, а через секунду всё упало. Заказ есть, событие... может быть есть, а может нет. Или их теперь три копии, потому что продюсер героически ретраился. Склад списал товар дважды, бухгалтерия насчитала...
Аватар для ArchitectMsa
Старый
NGINX vs Apache - что выбрать?
Запись от Jason-Webb размещена 30.09.2025 в 21:13 / Webmastering PHP
Показов 3448 Комментарии 0

Нажмите на изображение для увеличения
Название: NGINX vs Apache.jpg
Просмотров: 412
Размер:	112.0 Кб
ID:	11242
Когда я впервые столкнулся с выбором между NGINX и Apache, у меня был только один критерий — "что быстрее?". Наивный подход, который привел к череде болезненных миграций и ночных релизов. Сегодня я точно знаю: понимание архитектурных различий между этими веб-серверами — ключевой фактор,...
Аватар для Jason-Webb
Старый
Kafka и SQS: сравнение инструментов потоковой передачи
Запись от IndentationError размещена 30.08.2025 в 16:17 / AI coming for you
Показов 5806 Комментарии 0

Нажмите на изображение для увеличения
Название: Kafka и SQS сравнение инструментов потоковой передачи.jpg
Просмотров: 469
Размер:	187.2 Кб
ID:	11089
Сегодня я хочу поговорить о двух титанах в мире потоковой передачи данных: Apache Kafka и Amazon SQS. Или, как я их называю - "тяжелая артилерия" и "снайперская винтовка" в арсенале современного архитектора. Каждый инструмент имеет свои особенности, силу, слабости,...
Аватар для IndentationError
Старый
Event-Driven архитектуры в C# - выбираем правильного брокера сообщений
Запись от ArchitectMsa размещена 10.08.2025 в 19:39 / Microservice it all!
Показов 6175 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектуры в C# - выбираем правильного посредника сообщений.jpg
Просмотров: 508
Размер:	163.7 Кб
ID:	11045
Недавно я консультировал проект интернет-магазина, где для оформления заказа требовалось последовательно вызывать сервисы: корзины, проверки доступности товаров, расчета доставки, создания заказа, списания средств. Типичная картина! Но что происходило, когда...
Аватар для ArchitectMsa
Старый
Рейтинг: 5.00. Голосов: 1.
Data Science и C#. Кейсы
Запись от stackOverflow размещена 06.08.2025 в 11:27
Показов 5823 Комментарии 0

Нажмите на изображение для увеличения
Название: Data Science и C# 2.jpg
Просмотров: 704
Размер:	246.8 Кб
ID:	11039
[Начало] Теория теорией, но как говорил мой первый тимлид: "Работает - значит работает". Давайте разберем реальные проекты, где C# показал себя в деле анализа данных и машинного обучения. Я выбрал несколько показательных кейсов из своей практики последних лет.

Анализ производительности на больших датасетах



Один из самых показательных проектов был связан с анализом логов телекоммуникационного...
Аватар для stackOverflow
Старый
Рейтинг: 5.00. Голосов: 1.
Data Science и C#
Запись от stackOverflow размещена 05.08.2025 в 21:27
Показов 5203 Комментарии 0

Нажмите на изображение для увеличения
Название: Data Science и C#.jpg
Просмотров: 570
Размер:	217.9 Кб
ID:	11038
Когда-то при упоминании языков для анализа данных все автоматически думали только о Python, R и, может быть, немного о Scala. C# воспринимался исключительно как инструмент для энтерпрайз-разработки, создания десктопных приложений под Windows и, в лучшем случае, бэкенда для веб-сервисов. Прошло несколько лет, и ситуация кардинально...
Аватар для stackOverflow
Старый
Spring Kafka - синхронные и асинхронные запросы
Запись от Javaican размещена 01.08.2025 в 20:30 / Making Java great for ever
Показов 7891 Комментарии 0

Нажмите на изображение для увеличения
Название: Spring Kafka - синхронные и асинхронные запросы.jpg
Просмотров: 528
Размер:	183.8 Кб
ID:	11026
Когда я впервые столкнулся с Apache Kafka, меня поразила его архитектура, заточеная под асинхронное взаимодействие. Этот брокер сообщений, созданный изначально в недрах LinkedIn, а сейчас развиваемый Apache Foundation, проектировался как высокопроизводительная шина для потоковой обработки данных, где сообщения публикуются, хранятся в упорядоченых логах и затем потребляются одним или несколькими получателями.

Введение в Request-Reply паттерн в Kafka


...
Аватар для Javaican
Старый
Обработка Big Data на C#
Запись от stackOverflow размещена 29.05.2025 в 21:36
Показов 2929 Комментарии 0

Нажмите на изображение для увеличения
Название: c810d91b-b101-42b4-bba4-25ef70aba248.jpg
Просмотров: 430
Размер:	75.0 Кб
ID:	10855
C# традиционно оставался в тени Java, Python и Scala, когда речь заходила о работе с большими данными. Многие считали, что .NET недостаточно зрелая для таких задач. Но времена изменились. Язык C# превратился в настоящего тяжеловеса для обработки масштабных массивов информации, а с выходом C# 14 и .NET 9 появился целый арсенал инструментов, заточенных специально...
Аватар для stackOverflow
Старый
Рейтинг: 5.00. Голосов: 1.
Event-Driven приложения с Apache Kafka и KafkaFlow в .NET
Запись от stackOverflow размещена 26.05.2025 в 20:50
Показов 4211 Комментарии 0

Нажмите на изображение для увеличения
Название: d74997f4-fb96-476a-b5e2-51fedbecd61c.jpg
Просмотров: 537
Размер:	209.7 Кб
ID:	10850
Для .NET разработчиков работа с Kafka традиционно сопряжена с определенными трудностями. Официальный клиент Confluent хорош, но часто требует написания большого количества шаблонного кода. Многие разработчики тратят дни, разбираясь с настройками сериализации — это настоящее...
Аватар для stackOverflow
Старый
Kubernetes с Apache Flink для обработки данных в реальном времени
Запись от Mr. Docker размещена 17.05.2025 в 10:19 / Docking everything, K8s anything
Показов 6941 Комментарии 0

Нажмите на изображение для увеличения
Название: 85d0647b-9d21-41f4-a9b2-1e03b4f3ec01.jpg
Просмотров: 388
Размер:	200.0 Кб
ID:	10818
Kubernetes — это целая философия управления распределёнными приложениями. В отличие от "примитивных" решений вроде Docker Swarm, K8s (как его ласково называют в тусовке DevOps-инженеров) предлагает гораздо более зрелый и продвинутый подход. Основная архитектура Kubernetes включает в себя мастер-ноды, которые координируют работу кластера, и рабочие...
Аватар для Mr. Docker
Старый
Конвейеры ETL с Apache Airflow и Python
Запись от IndentationError размещена 13.05.2025 в 10:02 / AI coming for you
Показов 5656 Комментарии 0

Нажмите на изображение для увеличения
Название: 5edb7e39-15da-48ed-9f2a-ebda2d5087ed.jpg
Просмотров: 295
Размер:	195.1 Кб
ID:	10799
ETL-конвейеры – это набор процессов, отвечающих за извлечение данных из различных источников (Extract), их преобразование в нужный формат (Transform) и загрузку в целевое хранилище (Load). Современные компании оперируют сотнями терабайт информации, которые поступают из десятков разнородных систем: от древних корпоративных монстров на COBOL до навороченных REST API с непредсказуемым поведением. Создание надёжных потоков данных...
Аватар для IndentationError
Старый
Apache Camel и Apache Kafka - в чем разница?
Запись от ArchitectMsa размещена 09.05.2025 в 12:06 / Microservice it all!
Показов 3280 Комментарии 0
Метки apache, architecture, camel, kafka

Нажмите на изображение для увеличения
Название: 8e70ee5b-88a7-400f-b3cb-7dbe8a61fc0d.jpg
Просмотров: 306
Размер:	57.3 Кб
ID:	10774
Apache Camel и Apache Kafka — не конкуренты, а скорее инструменты из разных категорий одного большого набора. Если Camel — это швейцарский нож интеграции, предлагающий решение для соединения почти любых систем, то Kafka — высокопроизводительный конвейер для передачи огромных...
Аватар для ArchitectMsa
Старый
Confluent Kafka Go и потоковые приложения в реальном времени на Golang
Запись от golander размещена 03.05.2025 в 20:17 / go go just go
Показов 3952 Комментарии 0

Нажмите на изображение для увеличения
Название: 0e23c15e-8b21-486c-a2b9-a2fdca2f6ca4.jpg
Просмотров: 335
Размер:	168.8 Кб
ID:	10728
Мир обработки данных перевернулся, когда в 2011 году LinkedIn открыл исходный код Kafka – распределённой системы передачи сообщений, разработанной для внутренних нужд компании. Изначально Кафка создавалась как решение для сбора и анализа пользовательской активности...
Аватар для golander
Старый
Apache Kafka vs RabbitMQ в микросервисной архитектуре
Запись от ArchitectMsa размещена 25.04.2025 в 13:13 / Microservice it all!
Показов 5179 Комментарии 0

Нажмите на изображение для увеличения
Название: fe1d2e6a-463c-46f7-ad38-799fee616b73.jpg
Просмотров: 328
Размер:	235.6 Кб
ID:	10652
Современная разработка ПО всё чаще склоняется к микросервисной архитектуре — подходу, при котором приложение разбивается на множество небольших, автономных сервисов. В этой распределённой среде критически важна эффективная коммуникация между компонентами,...
Аватар для ArchitectMsa
Старый
Погружение в Kafka: Концепции и примеры на C# с ASP.NET Core
Запись от stackOverflow размещена 18.04.2025 в 11:03
Показов 14314 Комментарии 0

Нажмите на изображение для увеличения
Название: 8346d751-d0a5-475c-94a6-39bdac22b4d7.jpg
Просмотров: 441
Размер:	164.3 Кб
ID:	10607
Apache Kafka изменила подход к обработке данных в распределенных системах. Эта платформа потоковой передачи данных выходит далеко за рамки обычной шины сообщений, предлагая мощные возможности, которые трансформировали архитектуру многих современных приложений.

Что такое Kafka и зачем она нужна



Apache Kafka – распределенная платформа потоковой передачи данных, которая по сути представляет...
Аватар для stackOverflow
Старый
Управление топиками и разделами Kafka
Запись от Javaican размещена 11.04.2025 в 21:54 / Making Java great for ever
Показов 7831 Комментарии 0
Метки apache, java, kafka

Нажмите на изображение для увеличения
Название: d95d2181-24e0-43a6-81b9-35fd07f266e1.jpg
Просмотров: 292
Размер:	224.0 Кб
ID:	10579
Apache Kafka — распределенная платформа потоковой передачи данных, которая стала стандартом для построения высоконагруженных систем обмена сообщениями. В современной архитектуре микросервисов, IoT-решений и аналитики реального времени Kafka выступает ключевым звеном,...
Аватар для Javaican
Старый
Подключение Kafka к Elasticsearch
Запись от Codd размещена 09.04.2025 в 19:10 / Data... Everywhere
Показов 5863 Комментарии 0

Нажмите на изображение для увеличения
Название: 97b61b4f-21d4-47f6-8d61-0107e5b9536f.jpg
Просмотров: 340
Размер:	236.5 Кб
ID:	10566
Apache Kafka и Elasticsearch — две мощные технологии, которые при совместном использовании создают эффективную платформу для обработки и анализа данных в реальном времени. Kafka, выступая в роли распределенной системы потоковой передачи сообщений, позволяет надежно передавать...
Аватар для Codd
Старый
Реализация Event-Driven архитектуры с RabbitMQ и Kafka в Nest.js
Запись от ArchitectMsa размещена 09.04.2025 в 16:09 / Microservice it all!
Показов 3896 Комментарии 0

Нажмите на изображение для увеличения
Название: 4663bd1c-2017-4e0e-abc4-2975752e4c22.jpg
Просмотров: 293
Размер:	161.9 Кб
ID:	10560
В монолитных системах сервисы обычно общаются напрямую через HTTP-запросы. Простой подход, удобный для начала разработки — но что происходит, когда система растёт? Синхронное взаимодействие быстро превращается в узкое место, тормозящее масштабирование.

...
Аватар для ArchitectMsa
Старый
Обмен данными в микросервисной архитектуре
Запись от ArchitectMsa размещена 06.04.2025 в 22:00 / Microservice it all!
Показов 7461 Комментарии 0

Нажмите на изображение для увеличения
Название: 63f23c83-62a4-4109-a339-6a1a6cae127d.jpg
Просмотров: 384
Размер:	202.0 Кб
ID:	10546
Когда разработчики начинают погружаться в мир микросервисов, они часто сталкиваются с парадоксальным правилом: "два сервиса не должны делить один источник данных". Эта мантра звучит повсюду в профессиональных кругах, и многие воспринимают её слишком буквально....
Аватар для ArchitectMsa
Старый
Позиционировани­е Kafka Consumer и Seek-операции
Запись от Javaican размещена 17.03.2025 в 12:08 / Making Java great for ever
Показов 4852 Комментарии 0
Метки apache, java, kafka, microservices

Нажмите на изображение для увеличения
Название: 3629b240-eadf-49c1-a6a3-fa5e7496d0fb.jpg
Просмотров: 261
Размер:	222.3 Кб
ID:	10436
Что же такое Consumer Seek в Kafka? По сути, это API-метод, который позволяет программно указать, с какой позиции (offset) Consumer должен начать или продолжить чтение данных из партиции. Без этого механизма потребители Kafka обычно просто последовательно обрабатывают сообщения, начиная...
Аватар для Javaican
Старый
Apache Airflow для оркестрации и автоматизации рабочих процессов
Запись от Mr. Docker размещена 16.03.2025 в 20:42 / Docking everything, K8s anything
Показов 3174 Комментарии 0

Нажмите на изображение для увеличения
Название: 329ad6b5-3a16-454f-b1cf-d03d07b73234.jpg
Просмотров: 291
Размер:	204.6 Кб
ID:	10432
Управление сложными рабочими процессами — одна из главных головных болей инженеров данных и DevOps-специалистов. Представьте себе: каждый день нужно запускать десятки скриптов в определенной последовательности, обрабатывать гигабайты данных из разных источников, и при этом следить, чтобы все работало как часы....
Аватар для Mr. Docker
Старый
Реактивное программировани­е с Kafka Stream и Spring WebFlux
Запись от Javaican размещена 16.03.2025 в 18:36 / Making Java great for ever
Показов 2556 Комментарии 0

Нажмите на изображение для увеличения
Название: ebfa69c1-c798-474a-ba4a-043bd5c672f0.jpg
Просмотров: 253
Размер:	196.7 Кб
ID:	10427
Реактивное программирование – это программная парадигма, ориентированная на потоки данных и распространение изменений. Она позволяет выражать статические или динамические потоки данных и автоматически распространять изменения через потоки зависимых вычислений....
Аватар для Javaican
Старый
Конвейеры данных с Apache Kafka
Запись от Javaican размещена 16.03.2025 в 11:46 / Making Java great for ever
Показов 3718 Комментарии 0

Нажмите на изображение для увеличения
Название: 5f1661f3-6d5d-4568-9523-20f18445ffeb.png
Просмотров: 237
Размер:	1.32 Мб
ID:	10419
В мире, где данные стали новой нефтью, Apache Kafka зарекомендовал себя как мощный инструмент для построения надежных и масштабируемых конвейеров данных. Созданный изначально командой LinkedIn в 2011 году, этот проект эволюционировал из простой системы обмена сообщениями...
Аватар для Javaican
Старый
Безопасность кластеров Apache Kafka
Запись от Javaican размещена 14.03.2025 в 14:32 / Making Java great for ever
Показов 3242 Комментарии 0
Метки apache, auth, java, kafka, security

Нажмите на изображение для увеличения
Название: 5209a3c1-8f00-4f91-95e9-d42c09240a22.jpg
Просмотров: 270
Размер:	194.9 Кб
ID:	10395
Apache Kafka стал одним из ключевых компонентов современных архитектур, обрабатывающих потоки данных в режиме реального времени. Его используют тысячи компаний от стартапов до технологических гигантов — и это неудивительно, ведь Kafka обеспечивает высокую производительность,...
Аватар для Javaican
Старый
Организация масштабируемого хранилища с Apache Cassandra
Запись от Codd размещена 14.03.2025 в 13:07 / Data... Everywhere
Показов 2082 Комментарии 0
Метки apache, cassandra, db, java, nosql

Нажмите на изображение для увеличения
Название: cab7b174-76de-4e75-8064-baca0522f411.jpg
Просмотров: 296
Размер:	274.4 Кб
ID:	10392
Изначально разработанная в Facebook, а затем переданная Apache Software Foundation, Cassandra сочетает в себе принципы Amazon's Dynamo и Google's BigTable. Эта комбинация создает уникальную архитектуру, способную масштабироваться горизонтально практически без ограничений. Представьте себе систему, которая может обрабатывать петабайты данных, распределенных по сотням узлов, при этом оставаясь устойчивой к сбоям отдельных серверов!

Реляционные БД, такие как MySQL...
Аватар для Codd
Старый
Kafka или Pulsar: Что лучше для потоковой обработки в Java
Запись от Javaican размещена 14.03.2025 в 12:33 / Making Java great for ever
Показов 1705 Комментарии 0
Метки apache, java, kafka, pulsar, steaming

Нажмите на изображение для увеличения
Название: d366db0f-3224-446d-9857-809b95b339c2.jpg
Просмотров: 223
Размер:	125.9 Кб
ID:	10390
Среди множества решений для потоковой обработки данных Apache Kafka долгое время удерживала лидирующие позиции, став де-факто стандартом в индустрии. Однако в последние годы всё больше внимания привлекает Apache Pulsar — относительно новый игрок, предлагающий альтернативный подход к построению распределенных очередей сообщений. Оба инструмента широко используются в Java-проектах, предоставляя API для разработки потоковых приложений....
Аватар для Javaican
Старый
Сериализация данных с Apache Avro в Kafka
Запись от Javaican размещена 12.03.2025 в 20:26 / Making Java great for ever
Показов 5873 Комментарии 0

Нажмите на изображение для увеличения
Название: fb37348e-52c1-4ff2-a497-ea0cc9ba4296.jpg
Просмотров: 336
Размер:	126.1 Кб
ID:	10379
Apache Kafka стала одним из ключевых решений для работы с большими потоками данных. Однако с ростом объемов передаваемых данных возникает проблема: как эффективно сериализовать и десериализовать информацию, чтобы минимизировать использование ресурсов и сохранить...
Аватар для Javaican
Старый
Создание потребителей Kafka с помощью Reactor Kafka
Запись от Javaican размещена 12.03.2025 в 20:11 / Making Java great for ever
Показов 3661 Комментарии 0

Нажмите на изображение для увеличения
Название: aa49bcda-0801-417e-9105-0f4b9282cdee.jpg
Просмотров: 270
Размер:	132.7 Кб
ID:	10378
Reactor Kafka — это библиотека, объединяющая Apache Kafka с реактивным программированием на базе Project Reactor. Такое сочетание позволяет строить неблокирующие, асинхронные приложения с контролем обратного давления (backpressure). Для тех, кто не погружался в реактивное программирование,...
Аватар для Javaican
Новые блоги и статьи
Транслитерация текста с кириллицы на латиницу (вариант №5)
Maks 17.11.2026
Дабы оставить позади все споры о том, какая буква каким образом должна транслитерироваться на латиницу - решил таки доработать данное решение и довести его до мало-мальски логического завершения. . . .
Просмотровщик HLP и конвертер в CHM
Argus19 16.11.2026
Просмотровщик HLP и конвертер в CHM Давно хотел переделать справку Microsoft® Win32® Programmer's Reference, чтобы иметь её под рукой. Но использовать несколько программ не удобно. Искал другие. . .
BitTorrent (версия 7.11 English) и Меню Настройки
russiannick 15.11.2026
Пункты, отвечающие за отключение обновлений в BitTorrent версии 7. 11 (английской) Options Preferences General Language
Транслитерация текста с кириллицы на латиницу (вариант №4)
Maks 15.11.2026
Что-то я перемудрил с предыдущими версиями, в этот раз сделал всё проще, обратившись к функции "СтрокаЛатиницей" из типового общего модуля "СтроковыеФункцииКлиент". В данной функции нет апострофов,. . .
BitTorrent (версия 4.3.9) и Меню Настройки
russiannick 15.11.2026
В меню Настройки можно отключить автоматическое обновление программы. Карта этого меню приложена ниже. Нужный пункт выделен красным. Сервис Настройки Поведение
Транслитерация текста с кириллицы на латиницу (вариант №3)
Maks 15.11.2026
Обновленная версия предыдущей обработки. Изменения коснулись букв: Ъ, Ы, Ь, Э, отображения которых зависят от положения реквизита "Транслитерация имён". Изменено отображение буквы Й. Добавлена. . .
Транслитерация текста с кириллицы на латиницу (вариант №2)
Maks 13.11.2026
Обновленная версия ранее созданной обработки. Добавлено: - Проверка исходного текста на кириллицу, через обращение к стандартной функции "ТолькоКириллицаВСтроке" из общего модуля. . .
Часы с термометром и праздничным календарем
yariko 12.11.2026
Сегодня мы рассмотрим как можно сделать отличные многофункциональные часы. Итак, поставим конкретную задачу: разработать часы с календарем, двумя термодатчиками, выводом поздравительных сообщений. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru